Neon Performance Tests

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_init[3600-684]

platform: rds-aurora
init.end_timestamp: 1662442472
init.start_timestamp: 1662441168
scale: 684

revision init.client_side_generate init.create_tables init.drop_tables init.duration init.primary_keys init.vacuum total_duration
09dda3 875.11 (+0.06) 0.58 (+1.64) 0.26 (-0.38) 1555.01 (+0.03) 337.23 (+0.00) 341.61 (-0.00) 1555.01 (+0.03)
e5e40a 824.96 (+0.01) 0.22 (+0.16) 0.42 (+2.23) 1505.11 (+0.06) 336.61 (+0.02) 342.50 (+0.25) 1505.11 (+0.06)
241e54 820.67 (+0.10) 0.19 (-0.24) 0.13 (-0.50) 1423.73 (+0.05) 329.31 (+0.09) 273.24 (-0.12) 1423.73 (+0.05)
13f0e7 746.35 (-0.03) 0.25 (-0.11) 0.26 (+0.53) 1359.19 (-0.01) 300.84 (+0.01) 311.30 (+0.00) 1359.19 (-0.01)
9f79e7 768.12 (+0.02) 0.28 (+0.12) 0.17 (-0.45) 1376.83 (+0.00) 297.61 (-0.00) 310.40 (-0.03) 1376.83 (+0.00)
725be6 752.35 (-0.01) 0.25 (+0.32) 0.31 (+0.29) 1371.18 (-0.01) 298.99 (-0.03) 319.10 (+0.04) 1371.18 (-0.01)
687ba8 762.47 (-0.00) 0.19 (-0.72) 0.24 (-0.43) 1378.32 (+0.00) 308.10 (+0.02) 307.12 (+0.00) 1378.32 (+0.00)
f25dd7 764.49 (+0.03) 0.69 (+1.16) 0.42 (+2.23) 1373.43 (+0.02) 301.41 (+0.02) 305.92 (-0.00) 1373.44 (+0.02)
580584 740.48 (-0.05) 0.32 (+0.28) 0.13 (+0.08) 1342.23 (-0.03) 295.04 (-0.02) 306.08 (-0.02) 1342.23 (-0.03)
31123d 776.10 (+0.03) 0.25 (+0.32) 0.12 (-0.25) 1389.21 (+0.02) 301.42 (-0.00) 311.12 (+0.00) 1389.21 (+0.02)
dabb6d 754.81 (-0.02) 0.19 (-0.72) 0.16 (-0.74) 1367.77 (-0.00) 301.56 (+0.02) 310.85 (+0.02) 1367.77 (-0.00)
dabb6d 766.69 (+0.04) 0.69 (+0.01) 0.61 (+0.52) 1367.99 (+0.02) 295.81 (-0.01) 303.80 (-0.01) 1367.99 (+0.02)
dabb6d 739.71 (-0.05) 0.68 (+0.15) 0.40 (-0.44) 1345.68 (-0.02) 299.08 (+0.03) 305.48 (-0.01) 1345.68 (-0.02)
dabb6d 778.00 (+0.06) 0.59 (+1.95) 0.72 (+4.14) 1377.82 (+0.03) 290.04 (-0.05) 308.18 (+0.02) 1377.82 (+0.03)
dabb6d 733.16 (-0.02) 0.20 (+0.11) 0.14 (+0.17) 1339.85 (+0.00) 304.25 (+0.06) 301.94 (+0.01) 1339.86 (+0.00)
dabb6d 749.86 (+0.04) 0.18 (-0.58) 0.12 (+0.09) 1337.36 (+0.02) 288.35 (-0.01) 298.66 (+0.01) 1337.37 (+0.02)
fb68d0 723.06 (-0.01) 0.43 (+1.26) 0.11 (-0.65) 1312.24 (-0.00) 291.26 (+0.00) 297.15 (+0.00) 1312.24 (-0.00)
116568 727.19 (-0.01) 0.19 (+0.06) 0.31 (+1.38) 1314.64 (-0.01) 290.92 (-0.02) 295.73 (+0.00) 1314.64 (-0.01)
116568 732.03 (+0.03) 0.18 (0.00) 0.13 (-0.28) 1323.54 (+0.02) 295.89 (+0.02) 295.13 (-0.00) 1323.54 (+0.02)
116568 712.04 (-0.07) 0.18 (-0.28) 0.18 (-0.42) 1300.29 (-0.05) 291.17 (-0.03) 296.54 (-0.01) 1300.29 (-0.05)
e9a103 763.77 (-0.01) 0.25 (-0.17) 0.31 (+0.82) 1364.96 (-0.01) 300.20 (+0.00) 300.16 (-0.02) 1364.98 (-0.01)
6f949e 769.77 (+0.04) 0.30 (+0.20) 0.17 (+0.89) 1376.97 (+0.03) 299.21 (+0.02) 307.21 (+0.02) 1376.97 (+0.03)
bb3c66 738.49 (-0.02) 0.25 (-0.07) 0.09 (-0.44) 1335.87 (-0.01) 294.42 (-0.02) 302.40 (+0.03) 1335.87 (-0.01)
6985f6 754.41 (+0.01) 0.27 (-0.27) 0.16 (-0.27) 1348.91 (-0.00) 299.16 (+0.01) 294.69 (-0.04) 1348.91 (-0.00)
c9c3c7 748.05 (+0.03) 0.37 (-0.03) 0.22 (+0.05) 1349.76 (+0.02) 294.89 (-0.00) 306.02 (+0.02) 1349.77 (+0.02)
c9c3c7 728.01 (-0.04) 0.38 (+0.52) 0.21 (-0.19) 1324.30 (-0.02) 295.06 (-0.02) 300.45 (+0.01) 1324.32 (-0.02)
c9c3c7 754.85 (+0.01) 0.25 (+0.25) 0.26 (+0.73) 1353.64 (+0.00) 300.89 (+0.01) 296.81 (-0.02) 1353.64 (+0.00)
96e867 750.12 (+0.01) 0.20 (-0.46) 0.15 (-0.37) 1351.74 (+0.01) 297.78 (+0.00) 303.28 (+0.02) 1351.75 (+0.01)
87bf7b 739.70 (+0.02) 0.37 (-0.49) 0.24 (-0.40) 1334.44 (+0.01) 296.46 (+0.01) 297.44 (-0.02) 1334.44 (+0.01)
b37551 723.09 (-0.04) 0.72 (+0.71) 0.40 (+1.22) 1320.20 (-0.01) 293.12 (+0.02) 302.47 (+0.04) 1320.22 (-0.01)
b37551 752.08 (+0.04) 0.42 (+1.47) 0.18 (+5.00) 1330.31 (+0.01) 287.78 (-0.00) 289.62 (-0.03) 1330.31 (+0.01)
b37551 722.71 (-0.04) 0.17 (-0.72) 0.03 (-0.92) 1311.94 (-0.03) 288.83 (-0.01) 299.91 (+0.00) 1311.94 (-0.03)
b37551 755.31 (+0.02) 0.60 (+0.76) 0.37 (+2.36) 1347.81 (+0.01) 292.52 (+0.01) 298.57 (+0.01) 1347.81 (+0.01)
a40518 743.77 (-0.01) 0.34 (+0.79) 0.11 (-0.65) 1331.24 (-0.00) 290.51 (-0.01) 296.30 (+0.02) 1331.24 (-0.00)
a40518 752.61 (+0.01) 0.19 (+0.06) 0.31 (+1.82) 1337.19 (+0.00) 294.32 (+0.02) 289.47 (-0.02) 1337.19 (+0.00)
f650d9 747.50 (-0.00) 0.18 (+0.29) 0.11 (-1.00) 1331.89 (-0.18) 289.27 (-0.01) 294.63 (+0.00) 1331.90 (-0.18)
f650d9 751.21 (+0.02) 0.14 (-0.33) 282.57 (+2172.60) 1619.14 (+0.22) 291.21 (+0.00) 293.78 (-0.02) 1619.15 (+0.22)
ba8698 739.15 (-0.02) 0.21 (-0.38) 0.13 (+0.30) 1328.82 (-0.01) 290.36 (-0.01) 298.75 (+0.01) 1328.82 (-0.01)
ca6605 751.60 (+0.05) 0.34 (+0.89) 0.10 (-0.17) 1343.24 (+0.03) 294.11 (+0.00) 296.86 (-0.00) 1343.24 (+0.03)
f44afb 718.26 (-0.03) 0.18 (-0.10) 0.12 (-0.68) 1309.69 (-0.02) 292.69 (-0.02) 298.22 (-0.00) 1309.71 (-0.02)
2a837d 739.01 (+0.01) 0.20 (-0.37) 0.38 (+0.81) 1336.94 (+0.01) 297.46 (+0.00) 299.49 (+0.03) 1336.96 (+0.01)
a48f9f 729.54 (-0.01) 0.32 (-0.54) 0.21 (-0.42) 1318.06 (-0.01) 297.28 (+0.03) 290.50 (-0.03) 1318.07 (-0.01)
a48f9f 735.21 (-0.03) 0.70 (+2.33) 0.36 (+1.25) 1326.31 (-0.02) 289.00 (-0.02) 300.70 (-0.02) 1326.31 (-0.02)
a48f9f 758.18 (+0.00) 0.21 (-0.05) 0.16 (-0.47) 1359.48 (+0.01) 294.07 (-0.01) 306.63 (+0.03) 1359.48 (+0.01)
0b76b8 755.08 (+0.04) 0.22 (+0.16) 0.30 (+2.33) 1349.76 (+0.02) 295.86 (+0.00) 298.00 (-0.00) 1349.76 (+0.02)
9e3136 723.06 (-0.02) 0.19 (-0.21) 0.09 (0.00) 1317.77 (-0.01) 295.02 (-0.01) 299.18 (+0.01) 1317.77 (-0.01)
65b592 739.34 (+0.02) 0.24 (+0.33) 0.09 (-0.31) 1335.18 (+0.02) 299.50 (+0.02) 295.71 (+0.02) 1335.18 (+0.02)
05e263 722.36 0.18 0.13 1304.46 292.86 288.72 1304.46

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_simple_update[3600-684]

platform: rds-aurora
scale: 684
simple-update.number_of_clients: 4
simple-update.number_of_threads: 1
simple-update.number_of_transactions_actually_processed: 84749
simple-update.run_end_timestamp: 1662446122
simple-update.run_start_timestamp: 1662442521
simple-update.scale: 684

revision simple-update.latency_average simple-update.latency_stddev simple-update.run_duration simple-update.tps total_duration
09dda3 184.82 (+0.04) 79.13 (+0.07) 3600.72 (+0.00) 21.64 (-0.03) 3600.72 (+0.00)
e5e40a 178.43 (+0.03) 74.28 (+0.07) 3600.68 (+0.00) 22.42 (-0.03) 3600.68 (+0.00)
241e54 173.10 (+0.03) 69.68 (+0.08) 3600.63 (-0.00) 23.11 (-0.03) 3600.63 (-0.00)
9f79e7 167.26 (-0.04) 64.36 (-0.10) 3601.41 (+0.00) 23.91 (+0.04) 3601.41 (+0.00)
725be6 174.56 (-0.01) 71.33 (+0.04) 3601.09 (+0.00) 22.92 (+0.01) 3601.09 (+0.00)
687ba8 176.16 (+0.01) 68.83 (+0.01) 3600.62 (-0.00) 22.71 (-0.01) 3600.62 (-0.00)
f25dd7 174.79 (+0.08) 67.96 (+0.12) 3600.69 (+0.00) 22.88 (-0.08) 3600.69 (+0.00)
580584 161.50 (-0.04) 60.54 (-0.07) 3600.67 (+0.00) 24.77 (+0.04) 3600.67 (+0.00)
31123d 168.61 (-0.01) 64.94 (-0.02) 3600.65 (-0.00) 23.72 (+0.01) 3600.65 (-0.00)
dabb6d 170.54 (+0.01) 66.35 (+0.03) 3600.75 (+0.00) 23.45 (-0.01) 3600.75 (+0.00)
dabb6d 168.54 (-0.02) 64.50 (-0.04) 3600.57 (-0.00) 23.73 (+0.02) 3600.58 (-0.00)
dabb6d 171.87 (+0.05) 66.87 (+0.12) 3600.62 (-0.00) 23.27 (-0.05) 3600.62 (-0.00)
dabb6d 164.07 (-0.04) 59.59 (-0.09) 3600.65 (-0.00) 24.38 (+0.04) 3600.65 (-0.00)
dabb6d 171.39 (+0.00) 65.18 (+0.02) 3600.73 (+0.00) 23.34 (-0.00) 3600.73 (+0.00)
dabb6d 171.34 (+0.06) 63.81 (+0.10) 3600.66 (+0.00) 23.35 (-0.05) 3600.66 (+0.00)
fb68d0 162.15 (-0.01) 58.21 (-0.03) 3600.45 (-0.00) 24.67 (+0.01) 3600.45 (-0.00)
116568 164.20 (-0.02) 59.99 (-0.02) 3600.65 (+0.00) 24.36 (+0.02) 3600.65 (+0.00)
116568 166.93 (-0.02) 61.00 (-0.03) 3600.58 (-0.00) 23.96 (+0.02) 3600.58 (-0.00)
e9a103 169.88 (-0.04) 63.20 (-0.06) 3601.03 (+0.00) 23.54 (+0.04) 3601.03 (+0.00)
6f949e 176.87 (+0.03) 67.09 (+0.05) 3600.71 (-0.00) 22.62 (-0.03) 3600.72 (-0.00)
bb3c66 171.27 (+0.00) 63.97 (-0.07) 3600.89 (-0.00) 23.36 (-0.00) 3600.89 (-0.00)
c9c3c7 170.88 (+0.01) 68.51 (+0.10) 3600.89 (+0.00) 23.41 (-0.01) 3600.89 (+0.00)
c9c3c7 169.55 (-0.02) 62.48 (-0.06) 3600.66 (-0.00) 23.59 (+0.03) 3600.66 (-0.00)
96e867 173.84 (+0.01) 66.24 (+0.00) 3600.73 (+0.00) 23.01 (-0.01) 3600.73 (+0.00)
87bf7b 171.63 (+0.05) 66.04 (+0.13) 3600.69 (-0.00) 23.31 (-0.04) 3600.70 (-0.00)
ba8698 164.16 (-0.05) 58.33 (-0.09) 3600.71 (+0.00) 24.37 (+0.05) 3600.71 (+0.00)
2a837d 173.06 (+0.08) 63.90 (+0.11) 3600.63 (-0.00) 23.11 (-0.07) 3600.63 (-0.00)
a48f9f 160.54 (-0.05) 57.51 (-0.10) 3601.24 (+0.00) 24.91 (+0.05) 3601.24 (+0.00)
a48f9f 168.87 (+0.01) 64.10 (+0.00) 3600.68 (-0.00) 23.69 (-0.01) 3600.68 (-0.00)
a48f9f 166.66 (-0.04) 64.05 (+0.03) 3600.68 (+0.00) 24.00 (+0.04) 3600.68 (+0.00)
0b76b8 173.43 (+0.04) 62.20 (+0.05) 3600.66 (-0.00) 23.06 (-0.04) 3600.66 (-0.00)
9e3136 166.93 (+0.00) 59.25 (+0.00) 3600.73 (-0.00) 23.96 (-0.00) 3600.73 (-0.00)
65b592 166.78 (-0.02) 59.22 (-0.03) 3600.84 (+0.00) 23.98 (+0.02) 3600.84 (+0.00)
05e263 169.88 61.22 3600.70 23.55 3600.70

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_select_only[3600-684]

platform: rds-aurora
scale: 684
select-only.number_of_clients: 4
select-only.number_of_threads: 1
select-only.number_of_transactions_actually_processed: 394194
select-only.run_end_timestamp: 1662449771
select-only.run_start_timestamp: 1662446171
select-only.scale: 684

revision select-only.latency_average select-only.latency_stddev select-only.run_duration select-only.tps total_duration
09dda3 40.09 (+0.01) 24.70 (-0.01) 3600.45 (-0.00) 99.77 (-0.01) 3600.45 (-0.00)
e5e40a 39.78 (+0.02) 24.88 (+0.01) 3600.47 (-0.00) 100.54 (-0.02) 3600.47 (-0.00)
241e54 39.10 (+0.04) 24.62 (+0.12) 3600.49 (-0.00) 102.31 (-0.04) 3600.49 (-0.00)
9f79e7 37.70 (-0.01) 21.97 (-0.01) 3600.51 (+0.00) 106.09 (+0.01) 3600.51 (+0.00)
725be6 38.04 (+0.06) 22.09 (+0.03) 3600.43 (-0.00) 105.16 (-0.05) 3600.43 (-0.00)
687ba8 35.97 (-0.01) 21.55 (-0.01) 3601.40 (+0.00) 111.20 (+0.01) 3601.40 (+0.00)
f25dd7 36.48 (+0.04) 21.71 (+0.00) 3600.53 (-0.00) 109.65 (-0.03) 3600.53 (-0.00)
580584 35.22 (-0.02) 21.70 (-0.01) 3600.57 (-0.00) 113.57 (+0.02) 3600.57 (-0.00)
31123d 36.06 (-0.01) 21.89 (+0.01) 3600.62 (+0.00) 110.94 (+0.01) 3600.63 (+0.00)
dabb6d 36.57 (+0.04) 21.69 (+0.02) 3600.49 (+0.00) 109.37 (-0.03) 3600.49 (+0.00)
dabb6d 35.32 (-0.04) 21.30 (-0.02) 3600.47 (+0.00) 113.26 (+0.05) 3600.48 (+0.00)
dabb6d 36.93 (+0.03) 21.63 (+0.03) 3600.44 (-0.00) 108.31 (-0.03) 3600.44 (-0.00)
dabb6d 35.70 (-0.04) 20.99 (-0.03) 3600.66 (+0.00) 112.03 (+0.04) 3600.66 (+0.00)
dabb6d 37.31 (+0.04) 21.73 (+0.03) 3600.60 (+0.00) 107.21 (-0.03) 3600.60 (+0.00)
dabb6d 36.01 (+0.03) 21.08 (+0.01) 3600.57 (-0.00) 111.07 (-0.03) 3600.57 (-0.00)
fb68d0 35.09 (-0.02) 20.95 (-0.01) 3600.70 (+0.00) 113.99 (+0.02) 3600.70 (+0.00)
116568 35.84 (+0.01) 21.10 (+0.00) 3600.52 (+0.00) 111.62 (-0.01) 3600.52 (+0.00)
116568 35.45 (-0.03) 21.04 (-0.01) 3600.52 (-0.00) 112.83 (+0.03) 3600.52 (-0.00)
e9a103 36.45 (+0.02) 21.32 (-0.01) 3600.54 (-0.00) 109.75 (-0.02) 3600.54 (-0.00)
6f949e 35.90 (-0.00) 21.46 (+0.00) 3601.12 (+0.00) 111.43 (+0.00) 3601.13 (+0.00)
bb3c66 36.03 (-0.01) 21.45 (+0.02) 3600.68 (+0.00) 111.01 (+0.01) 3600.68 (+0.00)
c9c3c7 36.34 (-0.00) 21.11 (-0.01) 3600.55 (+0.00) 110.07 (+0.00) 3600.55 (+0.00)
96e867 36.41 (-0.01) 21.27 (+0.01) 3600.47 (+0.00) 109.85 (+0.01) 3600.48 (+0.00)
87bf7b 36.88 (+0.01) 21.02 (+0.01) 3600.45 (-0.00) 108.45 (-0.01) 3600.45 (-0.00)
ba8698 36.49 (+0.01) 20.84 (-0.04) 3600.53 (-0.00) 109.61 (-0.01) 3600.53 (-0.00)
2a837d 36.22 (+0.00) 21.75 (+0.05) 3600.78 (+0.00) 110.43 (-0.00) 3600.78 (+0.00)
a48f9f 36.18 (-0.02) 20.78 (-0.03) 3600.73 (-0.00) 110.56 (+0.02) 3600.73 (-0.00)
a48f9f 36.80 (+0.01) 21.46 (-0.01) 3601.30 (+0.00) 108.69 (-0.01) 3601.30 (+0.00)
a48f9f 36.62 (+0.01) 21.65 (+0.03) 3600.53 (-0.00) 109.24 (-0.01) 3600.53 (-0.00)
0b76b8 36.18 (+0.02) 21.12 (+0.02) 3601.03 (+0.00) 110.54 (-0.02) 3601.04 (+0.00)
9e3136 35.34 (-0.04) 20.66 (-0.01) 3600.97 (+0.00) 113.17 (+0.04) 3600.97 (+0.00)
65b592 36.71 (+0.01) 20.77 (-0.01) 3600.53 (+0.00) 108.96 (-0.01) 3600.53 (+0.00)
05e263 36.52 21.07 3600.50 109.52 3600.50

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_init[3600-3424]

platform: rds-aurora
init.end_timestamp: 1665608800
init.start_timestamp: 1665601325
scale: 3424

revision init.client_side_generate init.create_tables init.drop_tables init.duration init.primary_keys init.vacuum total_duration
d066da 0.00 (0.00) 0.19 (-0.05) 0.64 (-0.07) 7384.78 (-0.22) 1031.19 (-0.23) 684.15 (-0.23) 7384.78 (-0.22)
0ba4ca 0.00 (0.00) 0.20 (-0.69) 0.69 (-0.43) 9410.74 (+0.01) 1346.32 (+0.01) 883.62 (+0.01) 9410.74 (+0.01)
e43cde 0.00 (0.00) 0.64 (+0.73) 1.22 (+0.39) 9296.30 (+0.13) 1334.36 (+0.12) 875.59 (+0.14) 9296.30 (+0.13)
6b1c4c 0.00 (0.00) 0.37 (-0.38) 0.88 (+0.37) 8262.57 (-0.11) 1187.17 (-0.12) 767.72 (-0.14) 8262.57 (-0.11)
5d13a2 0.00 (0.00) 0.60 (+1.61) 0.64 (-0.33) 9328.82 (+0.11) 1347.20 (+0.14) 888.37 (+0.13) 9328.82 (+0.11)
f7249b 0.00 (0.00) 0.23 (-0.45) 0.95 (-0.21) 8379.58 (-0.11) 1184.85 (-0.16) 788.06 (-0.12) 8379.58 (-0.11)
306c4f 0.00 (0.00) 0.42 (-0.62) 1.20 (+1.14) 9436.77 (+0.09) 1406.54 (+0.14) 891.65 (+0.10) 9436.77 (+0.09)
bd5934 0.00 (0.00) 1.12 (+0.78) 0.56 (-0.50) 8624.86 (-0.09) 1232.81 (-0.09) 811.28 (-0.10) 8624.86 (-0.09)
b1a112 0.00 (0.00) 0.63 (+0.11) 1.13 (+0.27) 9469.27 (+0.01) 1358.33 (+0.01) 898.78 (+0.02) 9469.27 (+0.01)
99c159 0.00 (0.00) 0.57 (-0.28) 0.89 (-0.05) 9345.17 (+0.01) 1350.57 (-0.02) 878.83 (+0.01) 9345.17 (+0.01)
ea5a97 0.00 (0.00) 0.79 (+1.63) 0.94 (-0.11) 9289.07 (+0.01) 1379.21 (+0.01) 871.08 (+0.01) 9289.07 (+0.01)
89275f 0.00 (0.00) 0.30 (-0.06) 1.06 (+0.09) 9156.45 (+0.09) 1368.21 (+0.14) 858.45 (+0.08) 9156.45 (+0.09)
6d33d8 0.00 (0.00) 0.32 (-0.44) 0.97 (+1.31) 8393.52 (+0.01) 1199.05 (-0.01) 797.83 (+0.01) 8393.52 (+0.01)
a7f4ee 0.00 (0.00) 0.57 (-0.10) 0.42 (-0.48) 8331.49 (+0.02) 1215.93 (+0.05) 791.69 (+0.03) 8331.49 (+0.02)
6f28da 0.00 (0.00) 0.63 (-0.33) 0.81 (+0.16) 8204.36 (-0.00) 1161.98 (-0.01) 766.52 (-0.00) 8204.36 (-0.00)
41aa62 0.00 (0.00) 0.94 (+3.48) 0.70 (-0.20) 8238.48 (+0.11) 1174.16 (+0.10) 767.15 (+0.10) 8238.49 (+0.11)
7b5489 0.00 (0.00) 0.21 (-0.56) 0.88 (-0.19) 7437.08 (-0.06) 1071.31 (-0.08) 699.18 (-0.05) 7437.08 (-0.06)
a23b07 0.00 (0.00) 0.48 (+1.82) 1.08 (-0.12) 7912.03 (+0.08) 1160.32 (+0.09) 738.34 (+0.07) 7912.03 (+0.08)
cc2d00 0.00 (0.00) 0.17 (-0.93) 1.23 (+0.15) 7334.97 (-0.11) 1061.71 (-0.15) 688.91 (-0.10) 7334.97 (-0.11)
ba9df2 0.00 (0.00) 2.27 (+8.08) 1.07 (+14.29) 8248.57 (+0.01) 1253.41 (-0.03) 761.82 (+0.01) 8248.57 (+0.01)
a8f354 0.00 (0.00) 0.25 (-0.47) 0.07 (-0.84) 8141.35 (+0.27) 1291.20 (+0.49) 751.71 (+0.28) 8141.35 (+0.27)
7feb0d 0.00 (0.00) 0.47 (-0.25) 0.44 (+0.91) 6404.91 (-0.08) 865.98 (-0.09) 586.05 (-0.06) 6404.91 (-0.08)
982fce 0.00 (0.00) 0.63 (+0.09) 0.23 (-0.26) 6960.50 (+0.10) 954.44 (+0.12) 625.25 (+0.09) 6960.50 (+0.10)
1f151d 0.00 (0.00) 0.58 (+0.04) 0.31 (+0.41) 6323.51 (+0.02) 854.51 (+0.01) 574.68 (+0.03) 6323.51 (+0.02)
ff1a1a 0.00 (0.00) 0.56 (-0.03) 0.22 (-0.29) 6182.25 (-0.19) 848.24 (-0.19) 560.21 (-0.17) 6182.25 (-0.19)
b1477b 0.00 (0.00) 0.58 (-0.03) 0.31 (+0.15) 7586.58 (+0.01) 1045.93 (+0.03) 677.45 (+0.02) 7586.59 (+0.01)
1b947f 0.00 (0.00) 0.60 (-0.10) 0.27 (+0.04) 7517.64 (-0.06) 1014.24 (-0.05) 665.15 (-0.04) 7517.64 (-0.06)
a21b55 0.00 (0.00) 0.67 (+0.10) 0.26 (-0.07) 7993.39 (-0.00) 1072.16 (-0.01) 692.89 (-0.02) 7993.39 (-0.00)
4ba950 0.00 (0.00) 0.61 (+0.07) 0.28 (0.00) 8006.67 (+0.12) 1084.12 (+0.12) 706.63 (+0.13) 8006.67 (+0.12)
4e359d 0.00 (0.00) 0.57 (+0.14) 0.28 (+0.22) 7140.99 (+0.01) 966.28 (-0.00) 625.25 (-0.02) 7140.99 (+0.01)
3837fc 0.00 (0.00) 0.50 (-0.14) 0.23 (-0.15) 7059.78 (+0.10) 967.09 (+0.11) 637.96 (+0.13) 7059.78 (+0.10)
edcf4d 0.00 (0.00) 0.58 (+0.04) 0.27 (0.00) 6409.21 (-0.07) 871.54 (+0.01) 564.23 (-0.02) 6409.21 (-0.07)
411c71 0.00 (0.00) 0.56 (-0.12) 0.27 (-0.34) 6913.16 (+0.01) 865.31 (-0.08) 577.47 (-0.05) 6913.16 (+0.01)
854348 0.00 (0.00) 0.64 (+0.10) 0.41 (+0.46) 6848.41 (-0.00) 939.00 (+0.00) 610.35 (-0.01) 6848.41 (-0.00)
7ba5c2 0.00 (0.00) 0.58 (-0.12) 0.28 (+0.12) 6852.50 (+0.02) 937.93 (+0.02) 614.70 (+0.05) 6852.51 (+0.02)
ebea29 0.00 (0.00) 0.66 (+0.12) 0.25 (-0.14) 6746.31 (+0.01) 917.13 (+0.00) 587.52 (-0.02) 6746.31 (+0.01)
22c890 0.00 (0.00) 0.59 (-0.33) 0.29 (+0.26) 6648.19 (+0.02) 916.59 (+0.02) 597.82 (+0.05) 6648.19 (+0.02)
f0b2e0 0.00 (0.00) 0.88 (+0.69) 0.23 (-0.23) 6489.09 (+0.06) 895.36 (+0.07) 571.38 (+0.05) 6489.09 (+0.06)
dec580 0.00 (0.00) 0.52 (-0.20) 0.30 (+0.20) 6137.28 (+0.00) 839.72 (+0.02) 542.38 (-0.00) 6137.28 (+0.00)
dec580 0.00 (0.00) 0.65 (+0.14) 0.25 (+0.09) 6133.68 (-0.00) 826.27 (-0.02) 544.35 (+0.01) 6133.68 (-0.00)
b1c2a6 0.00 (0.00) 0.57 (-0.26) 0.23 (-0.36) 6143.26 (+0.01) 840.21 (+0.00) 541.35 (-0.00) 6143.26 (+0.01)
931094 0.00 (0.00) 0.77 (+0.12) 0.36 (+0.33) 6096.40 (+0.01) 837.48 (-0.00) 544.00 (+0.02) 6096.40 (+0.01)
957acb 0.00 (0.00) 0.69 (-0.01) 0.27 (+0.17) 6060.25 (-0.00) 838.65 (+0.00) 535.77 (-0.00) 6060.26 (-0.00)
846532 0.00 (0.00) 0.70 (+0.43) 0.23 (-0.21) 6065.76 (+0.01) 835.69 (+0.00) 536.16 (+0.01) 6065.76 (+0.01)
d733bc 0.00 (0.00) 0.49 (-0.25) 0.29 (+0.04) 6012.87 (-0.00) 835.34 (-0.00) 528.53 (-0.01) 6012.87 (-0.00)
75ffe3 0.00 (0.00) 0.65 (+0.03) 0.28 (-0.52) 6020.46 (-0.19) 839.46 (+0.01) 535.58 (-0.03) 6020.46 (-0.19)
75ffe3 0.00 (0.00) 0.63 (+0.02) 0.58 (+1.32) 7473.03 (-0.03) 832.85 (-0.21) 554.85 (-0.18) 7473.03 (-0.03)
bf4623 0.00 (0.00) 0.62 (-0.05) 0.25 (-0.11) 7695.39 (-0.00) 1058.97 (+0.00) 679.85 (+0.04) 7695.39 (-0.00)
b26c83 0.00 (0.00) 0.65 (-0.13) 0.28 (-0.12) 7709.97 (+0.02) 1055.83 (-0.01) 652.42 (-0.00) 7709.97 (+0.02)
9d714a 0.00 (0.00) 0.75 (+0.60) 0.32 (+0.19) 7577.10 (-0.01) 1062.91 (+0.02) 655.49 (-0.01) 7577.10 (-0.01)
6efea4 0.00 (0.00) 0.47 (-0.15) 0.27 (-0.16) 7690.42 (+0.01) 1044.78 (-0.01) 659.78 (+0.01) 7690.42 (+0.01)
4071ff 0.00 (0.00) 0.55 (-0.08) 0.32 (+0.28) 7598.93 (-0.01) 1055.39 (+0.02) 650.32 (+0.00) 7598.93 (-0.01)
4071ff 0.00 (0.00) 0.60 (-0.19) 0.25 (-0.07) 7679.59 (+0.01) 1033.21 (-0.00) 647.30 (-0.01) 7679.59 (+0.01)
870ba4 0.00 (0.00) 0.74 (+0.21) 0.27 (-0.07) 7618.04 (+0.00) 1037.83 (-0.01) 653.32 (+0.01) 7618.04 (+0.00)
f5ca89 0.00 (0.00) 0.61 (+0.09) 0.29 (+0.16) 7580.41 (-0.01) 1045.87 (-0.01) 648.63 (-0.03) 7580.41 (-0.01)
8bd565 0.00 (0.00) 0.56 (-0.03) 0.25 (-0.24) 7664.42 (+0.00) 1053.11 (+0.02) 666.44 (-0.00) 7664.42 (+0.00)
dd22c8 0.00 (0.00) 0.58 (-0.11) 0.33 (+0.32) 7647.18 (+0.01) 1029.82 (-0.03) 668.92 (+0.00) 7647.18 (+0.01)
299db9 0.00 (0.00) 0.65 (-0.25) 0.25 (-0.14) 7568.21 (-0.01) 1064.84 (+0.00) 667.46 (+0.01) 7568.21 (-0.01)
93f3f4 0.00 (0.00) 0.87 (+0.89) 0.29 (+0.21) 7612.09 (+0.01) 1059.64 (+0.01) 662.76 (-0.00) 7612.09 (+0.01)
f6e2e0 0.00 (0.00) 0.46 (-0.51) 0.24 (-0.17) 7526.64 (+0.00) 1048.74 (+0.02) 663.00 (+0.02) 7526.64 (+0.00)
f6e2e0 0.00 (0.00) 0.93 (+0.90) 0.29 (+0.21) 7499.65 (-0.02) 1029.68 (-0.01) 648.01 (-0.04) 7499.65 (-0.02)
f6e2e0 0.00 (0.00) 0.49 (-0.56) 0.24 (-0.38) 7643.52 (-0.01) 1035.66 (-0.02) 673.24 (-0.01) 7643.52 (-0.01)
f1d960 0.00 (0.00) 1.12 (+1.20) 0.39 (+0.39) 7702.62 (-0.00) 1059.31 (+0.00) 681.20 (+0.01) 7702.62 (-0.00)
4a9279 0.00 (0.00) 0.51 (-0.43) 0.28 (-0.12) 7705.17 (+0.00) 1057.05 (-0.01) 673.04 (-0.00) 7705.17 (+0.00)
2e4bf7 0.00 (0.00) 0.90 (+0.17) 0.32 (+0.03) 7669.79 (+0.01) 1066.10 (+0.02) 675.74 (+0.04) 7669.79 (+0.01)
ce8fbb 0.00 (0.00) 0.77 (+0.37) 0.31 (+0.19) 7567.96 (+0.00) 1046.07 (-0.01) 650.57 (-0.02) 7567.96 (+0.00)
ce8fbb 0.00 (0.00) 0.56 (+0.08) 0.26 (-0.07) 7543.70 (-0.02) 1059.31 (-0.01) 666.01 (+0.01) 7543.70 (-0.02)
ce8fbb 0.00 (0.00) 0.52 (-0.46) 0.28 (-0.20) 7705.30 (+0.01) 1073.61 (+0.03) 657.69 (+0.01) 7705.30 (+0.01)
d1a0f2 0.00 (0.00) 0.96 (+0.63) 0.35 (+0.21) 7597.62 (+0.01) 1043.17 (-0.03) 653.57 (-0.02) 7597.62 (+0.01)
ccf92d 0.00 (0.00) 0.59 (-0.05) 0.29 (-0.06) 7541.49 (-0.01) 1072.24 (+0.02) 664.94 (+0.01) 7541.49 (-0.01)
02b8e0 0.00 (0.00) 0.62 (+0.41) 0.31 (+0.29) 7621.13 (+0.01) 1052.44 (-0.00) 658.38 (+0.00) 7621.13 (+0.01)
7b9057 0.00 (0.00) 0.44 (-0.37) 0.24 (-0.25) 7541.28 (-0.00) 1052.93 (+0.01) 656.68 (-0.01) 7541.28 (-0.00)
9cada8 0.00 (0.00) 0.70 (+0.40) 0.32 (+0.28) 7556.37 (+0.01) 1039.67 (-0.01) 662.04 (+0.02) 7556.37 (+0.01)
9cada8 0.00 (0.00) 0.50 (0.00) 0.25 (-0.36) 7508.24 (+0.00) 1048.99 (+0.01) 650.87 (-0.01) 7508.24 (+0.00)
9cada8 0.00 (0.00) 0.50 (+0.06) 0.39 (+0.56) 7485.91 (-0.01) 1038.79 (+0.00) 657.82 (-0.00) 7485.91 (-0.01)
a60f68 0.00 (0.00) 0.47 (-0.34) 0.25 (-0.26) 7578.17 (+0.01) 1033.72 (-0.01) 658.37 (-0.02) 7578.17 (+0.01)
d19c52 0.00 (0.00) 0.71 (-0.16) 0.34 (+0.06) 7539.46 (-0.01) 1045.44 (+0.01) 672.79 (+0.01) 7539.46 (-0.01)
000eb1 0.00 (0.00) 0.85 (+0.23) 0.32 (-0.22) 7592.56 (+0.01) 1034.46 (+0.00) 668.98 (+0.06) 7592.57 (+0.01)
000eb1 0.00 (0.00) 0.69 (-0.14) 0.41 (+0.08) 7515.26 (-0.00) 1031.60 (+0.00) 631.94 (-0.03) 7515.26 (-0.00)
f51b48 0.00 (0.00) 0.80 (+0.90) 0.38 (+0.41) 7550.14 (-0.00) 1029.78 (-0.00) 651.52 (+0.01) 7550.14 (-0.00)
f51b48 0.00 (0.00) 0.42 (-0.14) 0.27 (-0.25) 7584.55 (+0.00) 1034.02 (+0.01) 647.50 (-0.00) 7584.55 (+0.00)
f51b48 0.00 (0.00) 0.49 (-0.22) 0.36 (-0.29) 7557.04 (+0.06) 1023.10 (+0.04) 650.53 (+0.06) 7557.04 (+0.06)
9f906f 0.00 (0.00) 0.63 (+0.47) 0.51 (+1.55) 7152.13 (+0.03) 980.15 (+0.03) 611.31 (+0.02) 7152.13 (+0.03)
0692ff 0.00 (0.00) 0.43 (0.00) 0.20 (-0.05) 6930.31 (-0.00) 954.92 (-0.00) 601.58 (-0.00) 6930.31 (-0.00)
2caece 0.00 (0.00) 0.43 (-0.02) 0.21 (+0.24) 6961.87 (+0.00) 959.62 (+0.00) 603.92 (-0.00) 6961.87 (+0.00)
bc7d3c 0.00 (0.00) 0.44 (-0.04) 0.17 (-0.45) 6951.63 (+0.01) 959.24 (-0.01) 606.13 (-0.01) 6951.63 (+0.01)
2153d2 0.00 (0.00) 0.46 (-0.04) 0.31 (+0.48) 6906.87 (+0.00) 968.73 (+0.01) 611.23 (+0.03) 6906.87 (+0.00)
2153d2 0.00 (0.00) 0.48 (-0.06) 0.21 (-0.34) 6905.63 (-0.01) 963.70 (+0.00) 595.22 (-0.01) 6905.63 (-0.01)
2153d2 0.00 (0.00) 0.51 (-0.09) 0.32 (-0.37) 6963.83 (+0.02) 959.88 (+0.01) 603.67 (+0.01) 6963.83 (+0.02)
a1b062 0.00 (0.00) 0.56 (-0.14) 0.51 (+0.21) 6833.00 (+0.00) 954.62 (+0.01) 595.84 (+0.00) 6833.00 (+0.00)
1d9d7c 0.00 (0.00) 0.65 (+0.03) 0.42 (-0.12) 6819.12 (-0.01) 943.33 (-0.02) 594.84 (-0.01) 6819.12 (-0.01)
3569c1 0.00 (0.00) 0.63 (+0.26) 0.48 (+0.55) 6896.31 (+0.01) 963.33 (+0.02) 598.03 (+0.01) 6896.32 (+0.01)
eaff14 0.00 (0.00) 0.50 (+0.02) 0.31 (-0.18) 6850.02 (-0.00) 944.02 (+0.00) 593.69 (+0.00) 6850.02 (-0.00)
f383b4 0.00 (0.00) 0.49 (-0.61) 0.38 (-0.33) 6876.73 (-0.01) 943.61 (+0.02) 592.49 (-0.01) 6876.73 (-0.01)
f383b4 0.00 (0.00) 1.25 (+0.52) 0.57 (+0.02) 6971.88 (+0.02) 927.14 (-0.03) 599.96 (+0.01) 6971.88 (+0.02)
a4256b 0.00 (0.00) 0.82 (+0.02) 0.56 (-0.10) 6856.63 (+0.01) 952.15 (+0.02) 595.66 (+0.02) 6856.63 (+0.01)
371493 0.00 (0.00) 0.80 (+0.13) 0.62 (+0.07) 6776.88 (+0.01) 936.35 (+0.01) 581.86 (-0.00) 6776.88 (+0.01)
c5c143 0.00 (0.00) 0.71 (-0.22) 0.58 (-0.09) 6742.85 (+0.02) 922.52 (-0.01) 583.14 (+0.32) 6742.85 (+0.02)
58fa4f 0.00 (0.00) 0.91 (+0.17) 0.64 (+0.12) 6620.26 (-0.03) 928.87 (-0.01) 442.93 (-0.25) 6620.26 (-0.03)
121d53 0.00 (0.00) 0.78 (-0.11) 0.57 (-0.08) 6802.27 (+0.00) 937.35 (-0.01) 587.81 (-0.00) 6802.27 (+0.00)
ec3a3a 0.00 (0.00) 0.88 (+0.49) 0.62 (-0.11) 6785.14 (+0.01) 942.30 (+0.01) 588.78 (+0.01) 6785.14 (+0.01)
96e783 0.00 (0.00) 0.59 (-0.25) 0.70 (+0.27) 6722.87 (-0.01) 928.62 (+0.01) 583.93 (+0.01) 6722.87 (-0.01)
567b71 0.00 (0.00) 0.79 (-0.14) 0.55 (-0.10) 6778.70 (+0.02) 919.59 (+0.01) 576.49 (-0.01) 6778.70 (+0.02)
847fc5 0.00 (0.00) 0.92 (+0.23) 0.61 (-0.06) 6620.12 (-0.01) 915.01 (-0.01) 581.06 (+0.01) 6620.13 (-0.01)
5e08b3 0.00 (0.00) 0.75 (+0.14) 0.65 (+0.10) 6664.54 (+0.01) 924.96 (+0.01) 575.16 (+0.01) 6664.54 (+0.01)
4d291d 0.00 (0.00) 0.66 (-0.12) 0.59 (-0.14) 6609.41 (-0.01) 915.60 (-0.00) 571.99 (+0.00) 6609.41 (-0.01)
4d291d 0.00 (0.00) 0.75 (-0.44) 0.69 (+0.11) 6644.30 (+0.01) 916.96 (+0.01) 570.86 (+0.00) 6644.30 (+0.01)
bf63f1 0.00 (0.00) 1.33 (-0.06) 0.62 (+0.03) 6562.64 (-0.02) 906.76 (+0.00) 568.87 (+0.00) 6562.64 (-0.02)
0a0958 0.00 (0.00) 1.42 (+1.09) 0.60 (0.00) 6688.07 (+0.01) 906.13 (-0.01) 566.65 (-0.01) 6688.07 (+0.01)
aabca5 0.00 (0.00) 0.68 (-0.11) 0.60 (+0.02) 6607.69 (-0.00) 914.33 (+0.01) 572.52 (+0.00) 6607.69 (-0.00)
a4be54 0.00 (0.00) 0.76 (+0.23) 0.59 (+0.02) 6637.10 (-0.01) 902.16 (-0.02) 571.43 (-0.01) 6637.10 (-0.01)
a3d7ad 0.00 (0.00) 0.62 (-0.22) 0.58 (+0.02) 6713.57 (+0.03) 917.95 (-0.00) 578.44 (+0.01) 6713.57 (+0.03)
a3d7ad 0.00 (0.00) 0.79 (-0.19) 0.57 (0.00) 6545.25 (-0.01) 918.45 (+0.03) 573.00 (+0.01) 6545.26 (-0.01)
8ba169 0.00 (0.00) 0.98 (-0.07) 0.57 (-0.03) 6605.51 (-0.00) 892.29 (-0.02) 567.72 (-0.02) 6605.51 (-0.00)
e5cc2f 0.00 (0.00) 1.05 (+0.87) 0.59 (-0.02) 6637.68 (+0.01) 912.85 (+0.01) 576.43 (+0.02) 6637.69 (+0.01)
c6b56d 0.00 (0.00) 0.56 (-0.07) 0.60 (+0.09) 6578.89 (+0.01) 906.18 (+0.02) 566.86 (+0.01) 6578.90 (+0.01)
e067cd 0.00 (0.00) 0.60 (+0.11) 0.55 (-0.15) 6526.53 (+0.00) 886.64 (-0.01) 562.00 (-0.01) 6526.53 (+0.00)
bce423 0.00 (0.00) 0.54 (-0.42) 0.65 (+0.18) 6500.44 (-0.01) 892.51 (-0.01) 565.06 (+0.01) 6500.44 (-0.01)
bce423 0.00 (0.00) 0.93 (+0.09) 0.55 (-0.02) 6536.98 (-0.00) 904.49 (-0.00) 559.14 (-0.00) 6536.98 (-0.00)
c28bfd 0.00 (0.00) 0.85 (+0.08) 0.56 (-0.11) 6562.57 (+0.00) 905.56 (+0.01) 560.89 (+0.00) 6562.57 (+0.00)
95bf19 0.00 (0.00) 0.79 (-0.41) 0.63 (-0.52) 6544.69 (+0.01) 900.76 (+0.01) 560.05 (-0.01) 6544.69 (+0.01)
95bf19 0.00 (0.00) 1.33 (+0.55) 1.30 (+1.60) 6508.97 (-0.01) 888.89 (-0.01) 567.05 (+0.01) 6508.97 (-0.01)
080752 0.00 (0.00) 0.86 (0.00) 0.50 (-0.18) 6562.41 (+0.01) 894.45 (+0.00) 563.33 (+0.02) 6562.41 (+0.01)
23d5e2 0.00 (0.00) 0.86 (-0.03) 0.61 (-0.23) 6516.41 (+0.01) 892.27 (-0.00) 550.31 (-0.03) 6516.41 (+0.01)
23d5e2 0.00 (0.00) 0.89 (+0.16) 0.79 (+0.41) 6462.91 (-0.00) 895.14 (+0.01) 569.46 (+0.01) 6462.91 (-0.00)
8b710b 0.00 (0.00) 0.77 (+0.12) 0.56 (-0.28) 6485.38 (-0.01) 887.82 (-0.01) 561.29 (+0.00) 6485.38 (-0.01)
8c6e60 0.00 (0.00) 0.69 (+0.35) 0.78 (+0.47) 6521.83 (+0.01) 898.39 (+0.01) 559.74 (-0.01) 6521.83 (+0.01)
10dae7 0.00 (0.00) 0.51 (-0.41) 0.53 (-0.28) 6476.41 (-0.01) 888.60 (-0.03) 562.72 (+0.00) 6476.41 (-0.01)
4c4d3d 0.00 (0.00) 0.86 (+0.65) 0.74 (+0.35) 6538.90 (+0.02) 911.96 (+0.03) 562.23 (+0.02) 6538.90 (+0.02)
9f94d0 0.00 (0.00) 0.52 (-0.25) 0.55 (0.00) 6392.36 (+0.04) 887.60 (+0.06) 552.17 (+0.02) 6392.36 (+0.04)
9f94d0 0.00 (0.00) 0.69 (-0.22) 0.55 (-0.02) 6122.08 (+0.01) 839.09 (-0.00) 543.56 (+0.04) 6122.08 (+0.01)
c700c7 0.00 (0.00) 0.89 (+0.20) 0.56 (+0.02) 6071.02 (-0.01) 839.81 (+0.02) 522.35 (-0.03) 6071.02 (-0.01)
42c6dd 0.00 (0.00) 0.74 (-0.10) 0.55 (+0.04) 6112.48 (+0.01) 823.22 (-0.03) 536.60 (+0.02) 6112.49 (+0.01)
f6bf7b 0.00 (0.00) 0.82 (-0.15) 0.53 (+0.04) 6071.02 (+0.02) 847.87 (+0.03) 527.86 (+0.02) 6071.02 (+0.02)
1137b5 0.00 (0.00) 0.96 (+0.81) 0.51 (-0.06) 5969.44 (-0.01) 826.65 (+0.01) 518.39 (-0.03) 5969.44 (-0.01)
1468c6 0.00 (0.00) 0.53 (-0.15) 0.54 (-0.10) 6019.02 (+0.01) 821.63 (+0.02) 534.35 (+0.02) 6019.03 (+0.01)
1468c6 0.00 (0.00) 0.62 (-0.14) 0.60 (+0.07) 5983.56 (-0.02) 804.97 (-0.03) 523.30 (-0.03) 5983.56 (-0.02)
c01f92 0.00 (0.00) 0.72 (+0.26) 0.56 (+0.08) 6111.82 (+0.03) 830.19 (+0.04) 537.28 (+0.02) 6111.82 (+0.03)
7ff591 0.00 (0.00) 0.57 (+0.30) 0.52 (+0.41) 5934.38 (+0.03) 799.77 (-0.01) 525.63 (+0.36) 5934.38 (+0.03)
5d4774 0.00 (0.00) 0.44 (-0.70) 0.37 (-0.46) 5772.58 (-0.09) 805.41 (-0.06) 387.78 (-0.28) 5772.58 (-0.09)
56d8c2 0.00 (0.00) 1.46 (-0.30) 0.69 (-0.10) 6322.98 (+0.00) 857.93 (-0.01) 539.14 (-0.02) 6322.98 (+0.00)
12e6f4 0.00 (0.00) 2.09 (+2.73) 0.77 (+1.48) 6301.14 (+0.03) 867.14 (-0.03) 550.79 (+0.36) 6301.14 (+0.03)
12e6f4 0.00 (-1.00) 0.56 (-0.12) 0.31 (-0.38) 6116.98 (-0.08) 891.49 (+0.03) 403.79 (-0.45) 6116.98 (-0.08)
61194a 5062.32 (+0.02) 0.64 (-0.07) 0.50 (+0.61) 6664.57 (-0.00) 864.01 (-0.09) 736.53 (-0.04) 6664.57 (-0.00)
70ce01 4971.31 (+0.00) 0.69 (-0.54) 0.31 (-0.74) 6692.22 (+0.00) 951.31 (-0.01) 767.91 (+0.01) 6692.22 (+0.00)
c04c20 4957.90 (-0.00) 1.50 (+1.27) 1.21 (+4.50) 6682.72 (-0.00) 960.53 (-0.01) 760.89 (-0.00) 6682.72 (-0.00)
827ee1 4964.21 (+0.01) 0.66 (+0.37) 0.22 (-0.08) 6698.44 (+0.01) 968.33 (+0.02) 764.39 (-0.01) 6698.44 (+0.01)
22ae67 4907.52 (-0.02) 0.48 (0.00) 0.24 (-0.44) 6633.94 (-0.01) 950.21 (+0.01) 774.82 (+0.03) 6633.94 (-0.01)
0f4458 5000.52 (+0.00) 0.48 (+0.12) 0.43 (+0.19) 6694.94 (-0.01) 937.52 (-0.04) 755.30 (-0.03) 6694.94 (-0.01)
b8a566 4992.74 (+0.01) 0.43 (-0.31) 0.36 (-0.25) 6751.12 (+0.01) 976.11 (+0.02) 780.92 (+0.03) 6751.13 (+0.01)
9747e9 4949.30 (+0.61) 0.62 (+0.41) 0.48 (-0.35) 6662.01 (+0.39) 953.87 (-0.04) 757.13 (+0.02) 6662.01 (+0.39)
b50e07 3070.33 (+0.01) 0.44 (-0.57) 0.74 (-0.12) 4801.19 (+0.00) 990.65 (+0.03) 738.84 (-0.05) 4801.19 (+0.00)
6a57d5 3037.80 (-0.04) 1.02 (+2.19) 0.84 (+6.64) 4784.20 (-0.01) 963.09 (+0.01) 781.25 (+0.05) 4784.20 (-0.01)
c0480f 3165.04 (+0.12) 0.32 (+0.23) 0.11 (-0.73) 4855.29 (+0.11) 948.97 (+0.00) 740.65 (+0.21) 4855.29 (+0.11)
4f443c 2823.86 (-0.02) 0.26 (-0.73) 0.41 (-0.67) 4384.39 (-0.04) 947.89 (+0.01) 611.48 (-0.18) 4384.39 (-0.04)
4f443c 2889.80 (+0.01) 0.97 (-0.19) 1.23 (+1.41) 4573.85 (-0.00) 935.62 (-0.01) 745.61 (-0.02) 4573.85 (-0.00)
788823 2873.55 (-0.26) 1.20 (+0.71) 0.51 (+0.50) 4581.93 (-0.37) 947.30 (-0.49) 759.18 (-0.52) 4581.93 (-0.37)
c21104 3881.39 (+0.32) 0.70 (+1.50) 0.34 (+1.62) 7322.28 (+0.56) 1868.05 (+0.92) 1571.42 (+1.05) 7322.28 (+0.56)
b9544a 2948.62 (-0.02) 0.28 (+0.04) 0.13 (-0.58) 4691.41 (-0.01) 975.00 (+0.00) 767.08 (+0.00) 4691.41 (-0.01)
33834c 3000.96 (+0.12) 0.27 (-0.73) 0.31 (-0.66) 4738.02 (+0.10) 970.38 (+0.06) 765.79 (+0.06) 4738.03 (+0.10)
521667 2682.72 (-0.04) 0.99 (-0.01) 0.92 (+1.36) 4322.31 (-0.03) 911.97 (-0.01) 725.22 (-0.01) 4322.31 (-0.03)
c14cc8 2808.32 (+0.00) 1.00 (+2.23) 0.39 (-0.17) 4467.07 (+0.01) 921.52 (+0.02) 735.31 (+0.04) 4467.07 (+0.01)
480175 2805.12 (-0.00) 0.31 (+0.63) 0.47 (+0.09) 4419.58 (-0.01) 907.60 (-0.02) 705.81 (-0.03) 4419.59 (-0.01)
480175 2810.30 (+0.05) 0.19 (-0.34) 0.43 (+0.72) 4460.64 (+0.04) 924.15 (+0.03) 725.33 (+0.01) 4460.64 (+0.04)
361648 2664.17 (-0.06) 0.29 (-0.55) 0.25 (-0.24) 4284.05 (-0.06) 901.37 (-0.06) 717.66 (-0.03) 4284.05 (-0.06)
480175 2845.98 (-0.05) 0.65 (-0.19) 0.33 (-0.41) 4541.95 (-0.01) 957.94 (+0.06) 736.86 (+0.04) 4541.96 (-0.01)
ae53dc 2983.30 (+0.10) 0.80 (+0.51) 0.56 (-0.11) 4592.74 (+0.05) 901.00 (-0.02) 706.81 (-0.02) 4592.75 (+0.05)
05db64 2721.17 (-0.01) 0.53 (+0.61) 0.63 (-0.06) 4358.80 (-0.00) 918.21 (+0.03) 718.01 (-0.00) 4358.80 (-0.00)
37625c 2760.53 (-0.03) 0.33 (+0.37) 0.67 (+3.79) 4369.72 (-0.02) 888.69 (-0.02) 719.00 (-0.01) 4369.72 (-0.02)
a5b898 2840.22 (-0.15) 0.24 (+0.20) 0.14 (+0.08) 4468.85 (-0.23) 905.02 (-0.33) 723.02 (-0.34) 4468.85 (-0.23)
cb9b26 3357.86 (-0.14) 0.20 (-0.78) 0.13 (0.00) 5813.88 (-0.08) 1353.87 (+0.01) 1101.57 (+0.02) 5813.88 (-0.08)
a50a7e 3898.90 (+0.04) 0.89 (+1.47) 0.13 (-0.59) 6325.49 (-0.04) 1345.10 (-0.14) 1080.23 (-0.18) 6325.49 (-0.04)
60ac22 3739.60 (-0.02) 0.36 (-0.05) 0.32 (-0.03) 6605.75 (-0.02) 1555.41 (-0.03) 1309.79 (+0.01) 6605.76 (-0.02)
0a87d7 3827.82 (+0.04) 0.38 (-0.37) 0.33 (+0.18) 6718.32 (+0.02) 1596.98 (+0.01) 1292.61 (+0.01) 6718.32 (+0.02)
f87017 3695.59 (+0.07) 0.60 (+0.67) 0.28 (+0.65) 6570.22 (+0.10) 1587.80 (+0.13) 1285.73 (+0.15) 6570.22 (+0.10)
f30ef0 3457.57 (+0.00) 0.36 (+0.24) 0.17 (+0.13) 5982.03 (+0.01) 1404.37 (-0.00) 1119.38 (+0.02) 5982.03 (+0.01)
036952 3442.61 (-0.01) 0.29 (+0.53) 0.15 (+0.07) 5950.56 (-0.01) 1406.01 (+0.00) 1101.29 (-0.03) 5950.56 (-0.01)
7fd88f 3491.49 (+0.03) 0.19 (-0.05) 0.14 (-0.44) 6025.87 (+0.02) 1402.23 (-0.01) 1131.59 (+0.01) 6025.87 (+0.02)
b55466 3386.78 (-0.03) 0.20 (0.00) 0.25 (+0.92) 5923.10 (-0.01) 1413.55 (+0.02) 1122.12 (+0.01) 5923.10 (-0.01)
e999f6 3478.99 (+0.02) 0.20 (+0.25) 0.13 (+1.60) 5974.82 (+0.01) 1380.37 (-0.01) 1114.92 (-0.01) 5974.82 (+0.01)
c1a76e 3409.64 (+0.05) 0.16 (-0.16) 0.05 (-0.72) 5938.04 (+0.04) 1400.06 (+0.02) 1127.94 (+0.05) 5938.05 (+0.04)
bc40a5 3255.16 (-0.20) 0.19 (-0.59) 0.18 (+0.50) 5703.91 (-0.13) 1370.87 (-0.00) 1077.33 (-0.02) 5703.92 (-0.13)
bc40a5 4081.61 (-0.10) 0.46 (+0.24) 0.12 (+0.09) 6553.08 (-0.18) 1373.25 (-0.26) 1097.43 (-0.29) 6553.08 (-0.18)
c38f38 4545.27 (+0.04) 0.37 (+0.85) 0.11 (-0.52) 7957.48 (+0.02) 1861.61 (-0.02) 1549.90 (+0.00) 7957.48 (+0.02)
511214 4365.97 (+0.01) 0.20 (-0.57) 0.23 (+0.21) 7818.71 (+0.01) 1905.44 (+0.00) 1546.65 (-0.00) 7818.71 (+0.01)
d42700 4315.58 (-0.01) 0.46 (-0.36) 0.19 (-0.68) 7764.85 (-0.00) 1900.94 (+0.00) 1547.49 (+0.01) 7764.85 (-0.00)
22cc87 4361.88 (+0.04) 0.72 (+3.00) 0.60 (+2.33) 7793.21 (+0.03) 1891.61 (+0.02) 1537.90 (+0.02) 7793.21 (+0.03)
596d62 4175.58 (-0.02) 0.18 (-0.75) 0.18 (-0.71) 7539.91 (-0.01) 1862.19 (+0.01) 1501.52 (-0.01) 7539.91 (-0.01)
596d62 4275.80 (+0.00) 0.71 (+2.74) 0.62 (+0.94) 7641.76 (+0.05) 1841.74 (+0.00) 1522.61 (+0.28) 7641.76 (+0.05)
128dc8 4275.43 (-0.02) 0.19 (-0.76) 0.32 (-0.55) 7301.02 (-0.06) 1839.18 (-0.02) 1185.70 (-0.22) 7301.02 (-0.06)
9f4960 4340.61 (+0.13) 0.80 (+2.81) 0.71 (+2.55) 7739.30 (+0.15) 1876.90 (+0.18) 1519.89 (+0.17) 7739.31 (+0.15)
9f4960 3834.77 (+0.01) 0.21 (-0.16) 0.20 (-0.56) 6724.63 (+0.01) 1594.54 (+0.00) 1294.61 (+0.00) 6724.64 (+0.01)
321aea 3797.75 (+0.01) 0.25 (+0.14) 0.45 (+0.41) 6683.49 (+0.01) 1594.14 (-0.00) 1290.71 (-0.01) 6683.49 (+0.01)
fc4ea3 3753.42 (-0.04) 0.22 (-0.31) 0.32 (+1.46) 6647.75 (-0.03) 1596.08 (-0.01) 1297.50 (-0.01) 6647.75 (-0.03)
773492 3912.25 (+0.05) 0.32 (+0.07) 0.13 (-0.19) 6836.13 (+0.03) 1619.00 (+0.01) 1304.23 (-0.01) 6836.14 (+0.03)
8fbe43 3708.81 (-0.04) 0.30 (+0.15) 0.16 (-0.50) 6627.82 (-0.03) 1603.40 (-0.01) 1314.94 (-0.00) 6627.82 (-0.03)
0ec5dd 3869.46 (+0.01) 0.26 (+0.37) 0.32 (+0.88) 6813.02 (+0.01) 1627.35 (+0.00) 1315.42 (+0.01) 6813.02 (+0.01)
5d6553 3824.82 (-0.01) 0.19 (-0.32) 0.17 (-0.35) 6754.37 (+0.04) 1623.59 (+0.02) 1305.42 (+0.27) 6754.38 (+0.04)
f03b7c 3858.91 (+0.06) 0.28 (-0.45) 0.26 (-0.07) 6480.49 (-0.00) 1591.34 (+0.01) 1029.50 (-0.20) 6480.49 (-0.00)
f03b7c 3638.07 (-0.12) 0.51 (+0.55) 0.28 (0.00) 6504.39 (-0.12) 1582.57 (-0.12) 1282.61 (-0.11) 6504.39 (-0.12)
9fe454 4141.08 (-0.02) 0.33 (+1.20) 0.28 (+8.33) 7376.11 (-0.01) 1792.02 (-0.01) 1442.20 (-0.01) 7376.11 (-0.01)
02f4e9 4209.74 0.15 0.03 7474.84 1804.32 1460.40 7474.85

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_simple_update[3600-3424]

platform: rds-aurora
scale: 3424
simple-update.number_of_clients: 4
simple-update.number_of_threads: 1
simple-update.number_of_transactions_actually_processed: 78992
simple-update.run_end_timestamp: 1665612459
simple-update.run_start_timestamp: 1665608858
simple-update.scale: 3424

revision simple-update.latency_average simple-update.latency_stddev simple-update.run_duration simple-update.tps total_duration
d066da 29.85 (-0.25) 31.73 (-0.18) 3600.54 (+0.00) 133.99 (+0.33) 3600.54 (+0.00)
0ba4ca 39.76 (+0.02) 38.69 (+0.10) 3600.50 (+0.00) 100.61 (-0.02) 3600.50 (+0.00)
e43cde 39.00 (+0.14) 35.23 (+0.15) 3600.43 (+0.00) 102.56 (-0.12) 3600.43 (+0.00)
6b1c4c 34.31 (-0.16) 30.59 (-0.23) 3600.29 (-0.00) 116.58 (+0.19) 3600.29 (-0.00)
5d13a2 40.91 (+0.17) 39.98 (+0.27) 3600.30 (-0.00) 97.78 (-0.15) 3600.30 (-0.00)
f7249b 34.92 (-0.17) 31.41 (-0.24) 3600.30 (-0.00) 114.53 (+0.21) 3600.30 (-0.00)
306c4f 42.09 (+0.16) 41.24 (+0.16) 3600.70 (+0.00) 95.02 (-0.14) 3600.70 (+0.00)
bd5934 36.31 (-0.13) 35.61 (-0.13) 3600.30 (-0.00) 110.17 (+0.15) 3600.30 (-0.00)
b1a112 41.71 (+0.05) 40.99 (+0.04) 3600.33 (-0.00) 95.89 (-0.05) 3600.33 (-0.00)
99c159 39.68 (+0.01) 39.27 (+0.03) 3600.53 (+0.00) 100.81 (-0.01) 3600.53 (+0.00)
ea5a97 39.19 (+0.02) 38.02 (+0.03) 3600.28 (+0.00) 102.07 (-0.02) 3600.28 (+0.00)
89275f 38.39 (+0.09) 37.07 (+0.08) 3600.17 (-0.00) 104.19 (-0.08) 3600.17 (-0.00)
6d33d8 35.20 (+0.01) 34.32 (+0.05) 3600.25 (-0.00) 113.64 (-0.01) 3600.25 (-0.00)
a7f4ee 34.80 (-0.03) 32.73 (-0.09) 3600.34 (-0.00) 114.92 (+0.03) 3600.34 (-0.00)
6f28da 35.92 (-0.02) 36.16 (+0.00) 3600.39 (+0.00) 111.36 (+0.02) 3600.39 (+0.00)
41aa62 36.50 (+0.17) 35.99 (+0.12) 3600.37 (+0.00) 109.59 (-0.15) 3600.37 (+0.00)
7b5489 31.13 (-0.00) 32.04 (+0.10) 3600.29 (+0.00) 128.48 (+0.00) 3600.29 (+0.00)
a23b07 31.25 (+0.05) 29.04 (-0.03) 3600.24 (-0.00) 128.02 (-0.05) 3600.24 (-0.00)
cc2d00 29.79 (-0.11) 29.82 (-0.09) 3600.26 (-0.00) 134.28 (+0.12) 3600.26 (-0.00)
ba9df2 33.34 (-0.01) 32.80 (-0.06) 3600.50 (+0.00) 119.98 (+0.01) 3600.50 (+0.00)
a8f354 33.62 (-0.92) 34.97 (+0.93) 3600.30 (-0.00) 118.99 (+10.98) 3600.30 (-0.00)
7feb0d 402.69 (-0.01) 18.10 (-0.25) 3601.32 (-0.00) 9.93 (+0.01) 3601.32 (-0.00)
982fce 406.67 (+0.01) 24.20 (+0.19) 3601.56 (+0.00) 9.84 (-0.01) 3601.56 (+0.00)
1f151d 403.23 (-0.01) 20.30 (+0.28) 3601.31 (-0.00) 9.92 (+0.01) 3601.31 (-0.00)
ff1a1a 407.99 (-0.00) 15.92 (-0.41) 3601.45 (-0.00) 9.80 (+0.00) 3601.45 (-0.00)
b1477b 409.10 (-0.02) 26.86 (-0.46) 3601.46 (+0.00) 9.78 (+0.02) 3601.46 (+0.00)
1b947f 416.56 (+0.00) 49.42 (+0.74) 3601.40 (-0.00) 9.60 (-0.00) 3601.40 (-0.00)
a21b55 416.27 (+0.00) 28.46 (-0.08) 3601.54 (+0.00) 9.61 (-0.00) 3601.55 (+0.00)
4ba950 414.42 (+0.01) 30.97 (+0.37) 3601.48 (+0.00) 9.65 (-0.01) 3601.48 (+0.00)
4e359d 411.27 (+0.00) 22.63 (+0.00) 3601.37 (+0.00) 9.73 (-0.00) 3601.37 (+0.00)
3837fc 410.98 (-0.01) 22.59 (-0.08) 3601.23 (-0.00) 9.73 (+0.01) 3601.23 (-0.00)
edcf4d 416.68 (+0.01) 24.54 (+0.12) 3601.70 (+0.00) 9.60 (-0.01) 3601.70 (+0.00)
411c71 411.75 (-0.02) 22.00 (-0.23) 3601.40 (-0.00) 9.71 (+0.02) 3601.40 (-0.00)
854348 419.88 (-0.00) 28.50 (-0.04) 3601.55 (+0.00) 9.53 (+0.00) 3601.55 (+0.00)
7ba5c2 420.12 (+0.02) 29.57 (+0.04) 3601.39 (+0.00) 9.52 (-0.02) 3601.39 (+0.00)
ebea29 413.30 (-0.01) 28.38 (+0.05) 3601.33 (-0.00) 9.68 (+0.01) 3601.33 (-0.00)
22c890 419.13 (+0.02) 27.08 (+0.09) 3601.78 (+0.00) 9.54 (-0.02) 3601.78 (+0.00)
f0b2e0 411.66 (-0.01) 24.90 (+0.09) 3601.56 (+0.00) 9.72 (+0.01) 3601.56 (+0.00)
dec580 415.64 (+0.01) 22.95 (-0.11) 3601.45 (+0.00) 9.62 (-0.01) 3601.45 (+0.00)
dec580 410.41 (-0.01) 25.90 (+0.13) 3601.29 (-0.00) 9.75 (+0.01) 3601.29 (-0.00)
b1c2a6 415.30 (+0.01) 23.01 (+0.02) 3601.45 (+0.00) 9.63 (-0.01) 3601.46 (+0.00)
931094 409.66 (-0.01) 22.64 (-0.01) 3601.33 (+0.00) 9.76 (+0.01) 3601.33 (+0.00)
957acb 414.59 (-0.00) 22.86 (-0.02) 3601.23 (-0.00) 9.65 (+0.00) 3601.23 (-0.00)
846532 415.54 (+0.02) 23.22 (+0.08) 3601.53 (+0.00) 9.63 (-0.02) 3601.53 (+0.00)
d733bc 407.82 (-0.00) 21.47 (+0.02) 3601.14 (-0.00) 9.81 (+0.00) 3601.14 (-0.00)
75ffe3 407.82 (-0.00) 21.14 (+0.12) 3601.45 (-0.00) 9.81 (+0.00) 3601.45 (-0.00)
75ffe3 408.34 (-0.01) 18.87 (-0.38) 3601.49 (+0.00) 9.80 (+0.01) 3601.50 (+0.00)
bf4623 411.94 (+0.03) 30.67 (+0.00) 3601.44 (-0.00) 9.71 (-0.03) 3601.44 (-0.00)
b26c83 401.44 (-0.03) 30.54 (+0.01) 3601.48 (-0.00) 9.96 (+0.03) 3601.48 (-0.00)
9d714a 412.43 (+0.00) 30.37 (+0.05) 3601.65 (+0.00) 9.70 (-0.00) 3601.65 (+0.00)
6efea4 411.41 (+0.01) 28.96 (-0.23) 3601.23 (-0.00) 9.72 (-0.01) 3601.24 (-0.00)
4071ff 406.94 (-0.02) 37.43 (+0.28) 3601.41 (-0.00) 9.83 (+0.02) 3601.41 (-0.00)
4071ff 415.09 (+0.01) 29.33 (-0.06) 3601.42 (+0.00) 9.64 (-0.01) 3601.42 (+0.00)
870ba4 412.20 (-0.01) 31.25 (-0.04) 3601.33 (-0.00) 9.70 (+0.01) 3601.33 (-0.00)
f5ca89 416.42 (+0.01) 32.53 (+0.11) 3601.53 (-0.00) 9.60 (-0.01) 3601.53 (-0.00)
8bd565 411.99 (-0.01) 29.43 (+0.00) 3601.76 (+0.00) 9.71 (+0.01) 3601.76 (+0.00)
299db9 415.48 (-0.00) 29.31 (-0.09) 3601.49 (+0.00) 9.63 (+0.00) 3601.49 (+0.00)
93f3f4 415.87 (+0.01) 32.11 (+0.08) 3601.46 (-0.00) 9.62 (-0.01) 3601.47 (-0.00)
f6e2e0 411.97 (-0.01) 29.79 (-0.03) 3601.48 (-0.00) 9.71 (+0.01) 3601.48 (-0.00)
f6e2e0 415.82 (+0.01) 30.61 (-0.00) 3601.50 (-0.00) 9.62 (-0.01) 3601.50 (-0.00)
f6e2e0 412.66 (-0.00) 30.64 (-0.05) 3601.60 (+0.00) 9.69 (-0.00) 3601.60 (+0.00)
f1d960 412.74 (+0.00) 32.12 (+0.02) 3601.45 (+0.00) 9.69 (-0.00) 3601.45 (+0.00)
4a9279 412.11 (-0.01) 31.36 (+0.01) 3601.33 (-0.00) 9.71 (+0.01) 3601.33 (-0.00)
2e4bf7 415.55 (+0.00) 31.02 (+0.07) 3601.56 (+0.00) 9.63 (-0.00) 3601.56 (+0.00)
ce8fbb 414.56 (+0.00) 29.10 (-0.06) 3601.47 (-0.00) 9.65 (-0.00) 3601.47 (-0.00)
ce8fbb 412.54 (+0.00) 31.05 (+0.04) 3601.51 (-0.00) 9.70 (-0.00) 3601.51 (-0.00)
ce8fbb 411.98 (-0.01) 29.84 (-0.06) 3601.60 (+0.00) 9.71 (+0.01) 3601.60 (+0.00)
d1a0f2 416.32 (+0.00) 31.66 (+0.07) 3601.37 (-0.00) 9.61 (-0.00) 3601.38 (-0.00)
ccf92d 416.08 (+0.01) 29.67 (+0.00) 3601.54 (+0.00) 9.61 (-0.01) 3601.54 (+0.00)
02b8e0 411.53 (+0.00) 29.62 (+0.06) 3601.40 (-0.00) 9.72 (-0.00) 3601.40 (-0.00)
7b9057 409.77 (-0.00) 28.02 (-0.01) 3601.40 (-0.00) 9.76 (+0.00) 3601.40 (-0.00)
9cada8 409.86 (-0.01) 28.37 (-0.03) 3601.55 (+0.00) 9.76 (+0.01) 3601.55 (+0.00)
9cada8 414.32 (-0.00) 29.37 (-0.06) 3601.51 (-0.00) 9.65 (+0.00) 3601.51 (-0.00)
9cada8 414.67 (-0.00) 31.29 (+0.05) 3601.60 (+0.00) 9.65 (+0.00) 3601.61 (+0.00)
d19c52 414.72 (+0.01) 29.75 (+0.04) 3601.30 (-0.00) 9.64 (-0.01) 3601.30 (-0.00)
000eb1 411.17 (-0.01) 28.62 (+0.00) 3601.33 (-0.00) 9.73 (+0.01) 3601.33 (-0.00)
000eb1 414.95 (+0.01) 28.56 (-0.02) 3601.54 (+0.00) 9.64 (-0.01) 3601.54 (+0.00)
f51b48 410.98 (-0.00) 29.28 (-0.08) 3601.36 (-0.00) 9.73 (+0.00) 3601.36 (-0.00)
f51b48 411.66 (+0.00) 31.74 (+0.09) 3601.49 (+0.00) 9.72 (-0.00) 3601.49 (+0.00)
f51b48 411.33 (+0.01) 29.23 (+0.09) 3601.48 (+0.00) 9.72 (-0.01) 3601.48 (+0.00)
9f906f 408.74 (-0.06) 26.81 (-0.45) 3601.46 (-0.00) 9.79 (+0.07) 3601.46 (-0.00)
0692ff 435.27 (+0.07) 48.91 (+1.07) 3601.54 (-0.00) 9.19 (-0.07) 3601.54 (-0.00)
2caece 406.18 (+0.00) 23.61 (+0.04) 3601.65 (+0.00) 9.85 (-0.00) 3601.65 (+0.00)
bc7d3c 405.71 (+0.00) 22.75 (-0.01) 3601.47 (+0.00) 9.86 (-0.00) 3601.47 (+0.00)
2153d2 405.59 (+0.00) 22.92 (-0.01) 3601.35 (+0.00) 9.86 (-0.00) 3601.35 (+0.00)
2153d2 405.58 (+0.00) 23.09 (+0.03) 3601.26 (-0.00) 9.86 (-0.00) 3601.26 (-0.00)
a1b062 405.44 (-0.00) 22.50 (-0.02) 3601.28 (-0.00) 9.87 (+0.00) 3601.28 (-0.00)
1d9d7c 405.85 (+0.00) 22.95 (+0.12) 3601.42 (+0.00) 9.86 (-0.00) 3601.42 (+0.00)
3569c1 403.91 (-0.00) 20.41 (-0.06) 3601.17 (-0.00) 9.90 (+0.00) 3601.18 (-0.00)
eaff14 404.70 (-0.00) 21.61 (-0.21) 3601.30 (-0.00) 9.88 (+0.00) 3601.30 (-0.00)
f383b4 405.52 (+0.01) 27.44 (+0.50) 3601.50 (+0.00) 9.86 (-0.01) 3601.50 (+0.00)
f383b4 401.95 (-0.01) 18.33 (-0.23) 3601.20 (-0.00) 9.95 (+0.01) 3601.20 (-0.00)
a4256b 405.31 (+0.00) 23.68 (-0.04) 3601.25 (-0.00) 9.87 (-0.00) 3601.25 (-0.00)
371493 405.15 (+0.00) 24.56 (+0.03) 3601.26 (-0.00) 9.87 (-0.00) 3601.26 (-0.00)
c5c143 405.12 (+0.00) 23.86 (+0.06) 3601.50 (-0.00) 9.87 (-0.00) 3601.50 (-0.00)
58fa4f 404.58 (-0.00) 22.60 (-0.17) 3601.54 (+0.00) 9.89 (+0.00) 3601.54 (+0.00)
121d53 405.35 (-0.00) 27.31 (+0.18) 3601.24 (-0.00) 9.87 (+0.00) 3601.24 (-0.00)
ec3a3a 405.74 (+0.01) 23.10 (-0.13) 3601.36 (-0.00) 9.86 (-0.01) 3601.37 (-0.00)
96e783 401.48 (-0.02) 26.41 (+0.22) 3601.41 (-0.00) 9.96 (+0.02) 3601.41 (-0.00)
567b71 407.88 (+0.00) 21.70 (+0.05) 3601.42 (+0.00) 9.81 (-0.00) 3601.42 (+0.00)
847fc5 407.13 (+0.01) 20.70 (-0.04) 3601.40 (-0.00) 9.82 (-0.01) 3601.40 (-0.00)
5e08b3 404.54 (-0.01) 21.62 (+0.05) 3601.49 (+0.00) 9.89 (+0.01) 3601.49 (+0.00)
4d291d 406.58 (+0.00) 20.56 (+0.06) 3601.49 (+0.00) 9.84 (-0.00) 3601.49 (+0.00)
4d291d 406.43 (+0.01) 19.47 (-0.26) 3601.25 (-0.00) 9.84 (-0.01) 3601.25 (-0.00)
bf63f1 400.85 (-0.00) 26.14 (+0.08) 3601.51 (-0.00) 9.98 (+0.00) 3601.51 (-0.00)
0a0958 402.59 (+0.00) 24.18 (+0.11) 3601.96 (+0.00) 9.94 (-0.00) 3601.96 (+0.00)
aabca5 401.54 (-0.00) 21.73 (-0.11) 3601.34 (-0.00) 9.96 (+0.00) 3601.34 (-0.00)
a4be54 403.18 (-0.00) 24.45 (+0.02) 3601.59 (+0.00) 9.92 (+0.00) 3601.59 (+0.00)
a3d7ad 403.89 (+0.01) 23.98 (-0.05) 3601.40 (-0.00) 9.90 (-0.01) 3601.40 (-0.00)
a3d7ad 399.44 (-0.01) 25.37 (+0.00) 3601.53 (+0.00) 10.01 (+0.01) 3601.53 (+0.00)
8ba169 402.00 (+0.00) 25.30 (+0.20) 3601.43 (+0.00) 9.95 (-0.00) 3601.43 (+0.00)
e5cc2f 400.74 (-0.00) 21.02 (-0.25) 3601.38 (-0.00) 9.98 (+0.00) 3601.38 (-0.00)
c6b56d 401.62 (+0.00) 28.05 (+0.10) 3601.42 (-0.00) 9.96 (-0.00) 3601.42 (-0.00)
e067cd 400.56 (+0.01) 25.48 (-0.04) 3601.43 (-0.00) 9.99 (-0.01) 3601.43 (-0.00)
bce423 397.77 (-0.02) 26.65 (+0.11) 3601.50 (+0.00) 10.06 (+0.02) 3601.50 (+0.00)
bce423 404.10 (-0.00) 23.98 (+0.01) 3601.28 (+0.00) 9.90 (+0.00) 3601.28 (+0.00)
c28bfd 404.22 (+0.02) 23.84 (+0.04) 3601.25 (-0.00) 9.90 (-0.02) 3601.25 (-0.00)
95bf19 397.40 (-0.01) 22.86 (+0.02) 3601.46 (-0.00) 10.06 (+0.00) 3601.47 (-0.00)
95bf19 399.44 (-0.00) 22.48 (+0.01) 3601.59 (-0.00) 10.01 (+0.00) 3601.59 (-0.00)
080752 399.66 (+0.00) 22.35 (+0.14) 3601.70 (+0.00) 10.01 (-0.00) 3601.70 (+0.00)
23d5e2 398.66 (+0.01) 19.68 (-0.19) 3601.57 (+0.00) 10.03 (-0.01) 3601.57 (+0.00)
23d5e2 396.60 (-0.01) 24.42 (+0.04) 3601.50 (+0.00) 10.09 (+0.01) 3601.50 (+0.00)
8b710b 400.33 (-0.01) 23.59 (-0.10) 3601.41 (-0.00) 9.99 (+0.01) 3601.41 (-0.00)
8c6e60 403.07 (+0.01) 26.21 (+0.09) 3601.52 (+0.00) 9.92 (-0.01) 3601.52 (+0.00)
10dae7 399.26 (-0.01) 24.13 (-0.10) 3601.45 (+0.00) 10.02 (+0.01) 3601.45 (+0.00)
4c4d3d 402.61 (+0.02) 26.66 (+0.24) 3601.35 (-0.00) 9.94 (-0.01) 3601.35 (-0.00)
9f94d0 396.53 (-0.01) 21.48 (+0.10) 3601.37 (-0.00) 10.09 (+0.01) 3601.37 (-0.00)
9f94d0 398.75 (+0.01) 19.50 (+0.05) 3601.47 (+0.00) 10.03 (-0.01) 3601.48 (+0.00)
c700c7 396.18 (+0.00) 18.58 (+0.05) 3601.40 (-0.00) 10.10 (-0.00) 3601.40 (-0.00)
42c6dd 394.74 (-0.01) 17.64 (-0.07) 3601.51 (-0.00) 10.13 (+0.01) 3601.51 (-0.00)
f6bf7b 399.14 (+0.00) 18.96 (-0.06) 3601.56 (+0.00) 10.02 (-0.00) 3601.56 (+0.00)
1137b5 398.45 (-0.00) 20.07 (+0.55) 3601.32 (-0.00) 10.04 (+0.00) 3601.32 (-0.00)
1468c6 399.03 (-0.00) 12.93 (-0.27) 3601.46 (-0.00) 10.02 (+0.00) 3601.46 (-0.00)
1468c6 399.63 (+0.00) 17.75 (-0.06) 3601.51 (+0.00) 10.01 (-0.00) 3601.51 (+0.00)
c01f92 398.14 (-0.00) 18.93 (-0.05) 3601.32 (-0.00) 10.05 (+0.01) 3601.32 (-0.00)
7ff591 400.02 (+0.01) 19.89 (+0.47) 3601.45 (-0.00) 10.00 (-0.01) 3601.45 (-0.00)
5d4774 396.10 (-0.01) 13.51 (-0.43) 3601.49 (-0.00) 10.10 (+0.01) 3601.49 (-0.00)
56d8c2 398.33 (-0.01) 23.68 (+0.00) 3601.51 (-0.00) 10.04 (+0.01) 3601.51 (-0.00)
12e6f4 403.36 (+0.02) 23.66 (+0.04) 3601.55 (+0.00) 9.92 (-0.02) 3601.55 (+0.00)
12e6f4 396.70 (-0.01) 22.77 (-0.04) 3601.49 (+0.00) 10.08 (+0.01) 3601.49 (+0.00)
61194a 399.33 (-0.01) 23.69 (-0.17) 3601.33 (-0.00) 10.02 (+0.01) 3601.33 (-0.00)
70ce01 403.06 (-0.00) 28.58 (+0.02) 3601.44 (+0.00) 9.92 (-0.00) 3601.44 (+0.00)
c04c20 403.08 (+0.00) 28.07 (+0.05) 3601.40 (-0.00) 9.92 (-0.00) 3601.40 (-0.00)
827ee1 402.67 (-0.00) 26.66 (-0.02) 3601.41 (-0.00) 9.93 (+0.00) 3601.41 (-0.00)
22ae67 403.70 (+0.00) 27.16 (-0.08) 3601.60 (-0.00) 9.91 (-0.00) 3601.60 (-0.00)
0f4458 402.57 (-0.01) 29.40 (-0.06) 3601.90 (+0.00) 9.94 (+0.01) 3601.91 (+0.00)
b8a566 405.37 (+0.00) 31.14 (+0.10) 3601.25 (-0.00) 9.87 (-0.00) 3601.25 (-0.00)
9747e9 404.30 (+1.71) 28.41 (-0.01) 3601.59 (+0.00) 9.89 (-0.63) 3601.59 (+0.00)
b50e07 149.17 (-0.01) 28.81 (-0.00) 3600.72 (+0.00) 26.81 (+0.01) 3600.72 (+0.00)
6a57d5 150.92 (+0.05) 28.84 (-0.06) 3600.64 (-0.00) 26.50 (-0.05) 3600.64 (-0.00)
c0480f 143.27 (-0.00) 30.75 (+0.11) 3600.69 (+0.00) 27.92 (+0.00) 3600.69 (+0.00)
4f443c 143.28 (-0.01) 27.66 (-0.05) 3600.60 (-0.00) 27.92 (+0.01) 3600.60 (-0.00)
788823 144.68 (-0.43) 28.98 (-0.51) 3600.63 (-0.00) 27.65 (+0.75) 3600.63 (-0.00)
c21104 253.31 (+0.73) 59.34 (+1.09) 3601.40 (+0.00) 15.79 (-0.42) 3601.40 (+0.00)
b9544a 146.56 (+0.00) 28.42 (-0.03) 3600.78 (+0.00) 27.29 (-0.00) 3600.78 (+0.00)
33834c 146.31 (+0.02) 29.35 (+0.18) 3600.60 (-0.00) 27.34 (-0.02) 3600.60 (-0.00)
521667 143.47 (-0.01) 24.83 (-0.08) 3600.65 (+0.00) 27.88 (+0.01) 3600.65 (+0.00)
480175 144.42 (-0.01) 27.00 (+0.09) 3600.64 (+0.00) 27.70 (+0.01) 3600.64 (+0.00)
361648 146.17 (+0.02) 24.70 (-0.03) 3600.55 (-0.00) 27.36 (-0.02) 3600.55 (-0.00)
480175 142.82 (+0.01) 25.37 (-0.01) 3600.96 (+0.00) 28.01 (-0.01) 3600.96 (+0.00)
ae53dc 140.79 (-0.02) 25.50 (-0.01) 3600.63 (-0.00) 28.41 (+0.02) 3600.63 (-0.00)
05db64 143.65 (-0.00) 25.89 (+0.02) 3600.64 (-0.00) 27.84 (+0.00) 3600.64 (-0.00)
37625c 144.04 (+0.02) 25.37 (-0.00) 3600.64 (+0.00) 27.77 (-0.02) 3600.64 (+0.00)
a5b898 141.07 (-0.10) 25.45 (-0.46) 3600.60 (-0.00) 28.35 (+0.11) 3600.60 (-0.00)
cb9b26 157.28 (+0.01) 47.02 (+0.09) 3600.73 (+0.00) 25.43 (-0.01) 3600.73 (+0.00)
a50a7e 156.34 (-0.06) 42.99 (-0.30) 3600.69 (+0.00) 25.58 (+0.06) 3600.69 (+0.00)
60ac22 165.55 (-0.01) 61.07 (-0.06) 3600.66 (-0.00) 24.16 (+0.01) 3600.66 (-0.00)
0a87d7 167.35 (-0.03) 64.64 (+0.02) 3600.86 (+0.00) 23.90 (+0.04) 3600.86 (+0.00)
f87017 173.34 (+0.05) 63.34 (+0.19) 3600.63 (-0.00) 23.08 (-0.05) 3600.63 (-0.00)
f30ef0 164.73 (+0.04) 53.22 (+0.05) 3600.68 (+0.00) 24.28 (-0.04) 3600.68 (+0.00)
036952 158.74 (+0.00) 50.53 (-0.03) 3600.63 (-0.00) 25.20 (-0.00) 3600.63 (-0.00)
7fd88f 158.22 (-0.05) 51.95 (-0.01) 3600.65 (-0.00) 25.28 (+0.05) 3600.65 (-0.00)
b55466 165.89 (+0.01) 52.49 (-0.00) 3600.82 (+0.00) 24.11 (-0.01) 3600.82 (+0.00)
e999f6 163.67 (+0.02) 52.61 (+0.02) 3600.70 (+0.00) 24.44 (-0.02) 3600.70 (+0.00)
c1a76e 160.25 (+0.03) 51.34 (+0.14) 3600.60 (-0.00) 24.96 (-0.03) 3600.60 (-0.00)
bc40a5 155.87 (+0.03) 45.10 (+0.02) 3600.63 (+0.00) 25.66 (-0.02) 3600.63 (+0.00)
bc40a5 152.06 (-0.23) 44.14 (-0.50) 3600.61 (-0.00) 26.30 (+0.30) 3600.62 (-0.00)
c38f38 198.24 (+0.03) 88.88 (+0.11) 3600.65 (-0.00) 20.18 (-0.03) 3600.65 (-0.00)
511214 192.07 (-0.01) 80.27 (-0.02) 3600.82 (-0.00) 20.82 (+0.01) 3600.82 (-0.00)
d42700 193.43 (-0.01) 81.97 (-0.04) 3600.86 (+0.00) 20.68 (+0.01) 3600.86 (+0.00)
22cc87 194.87 (+0.05) 85.67 (+0.08) 3600.63 (-0.00) 20.53 (-0.04) 3600.63 (-0.00)
596d62 186.11 (+0.02) 78.97 (+0.07) 3601.72 (+0.00) 21.49 (-0.02) 3601.72 (+0.00)
596d62 182.30 (-0.01) 73.87 (-0.06) 3600.71 (-0.00) 21.94 (+0.01) 3600.71 (-0.00)
128dc8 184.96 (-0.01) 79.00 (+0.04) 3601.04 (+0.00) 21.63 (+0.01) 3601.04 (+0.00)
9f4960 186.58 (+0.07) 75.96 (+0.18) 3600.54 (-0.00) 21.44 (-0.07) 3600.54 (-0.00)
9f4960 173.82 (-0.00) 64.15 (+0.02) 3600.77 (+0.00) 23.01 (+0.00) 3600.77 (+0.00)
321aea 173.85 (+0.01) 63.16 (-0.00) 3600.63 (-0.00) 23.01 (-0.01) 3600.63 (-0.00)
fc4ea3 171.76 (-0.04) 63.19 (-0.06) 3600.74 (+0.00) 23.29 (+0.04) 3600.74 (+0.00)
773492 179.16 (+0.03) 67.28 (+0.06) 3600.48 (-0.00) 22.33 (-0.03) 3600.48 (-0.00)
8fbe43 174.50 (+0.04) 63.46 (+0.07) 3600.80 (+0.00) 22.92 (-0.04) 3600.80 (+0.00)
0ec5dd 167.17 (-0.03) 59.31 (-0.05) 3600.63 (-0.00) 23.93 (+0.03) 3600.63 (-0.00)
5d6553 172.88 (+0.01) 62.69 (+0.02) 3601.40 (+0.00) 23.14 (-0.01) 3601.40 (+0.00)
f03b7c 170.88 (+0.02) 61.60 (+0.03) 3600.62 (-0.00) 23.41 (-0.02) 3600.62 (-0.00)
f03b7c 167.97 (-0.12) 59.76 (-0.28) 3600.63 (+0.00) 23.81 (+0.13) 3600.63 (+0.00)
9fe454 190.12 (+0.04) 83.31 (+0.08) 3600.60 (-0.00) 21.04 (-0.04) 3600.60 (-0.00)
02f4e9 182.25 77.05 3600.76 21.95 3600.77

Runs for test_runner/performance/test_perf_pgbench.py::test_pgbench_remote_select_only[3600-3424]

platform: rds-aurora
scale: 3424
select-only.number_of_clients: 4
select-only.number_of_threads: 1
select-only.number_of_transactions_actually_processed: 364104
select-only.run_end_timestamp: 1665616117
select-only.run_start_timestamp: 1665612517
select-only.scale: 3424

revision select-only.latency_average select-only.latency_stddev select-only.run_duration select-only.tps total_duration
d066da 6.80 (-0.05) 12.86 (+0.05) 3600.13 (-0.00) 588.07 (+0.05) 3600.13 (-0.00)
0ba4ca 7.14 (-0.25) 12.26 (-0.25) 3600.34 (+0.00) 559.91 (+0.34) 3600.34 (+0.00)
e43cde 9.54 (+0.13) 16.41 (+0.15) 3600.14 (-0.00) 419.11 (-0.12) 3600.14 (-0.00)
6b1c4c 8.45 (+0.00) 14.32 (-0.07) 3600.28 (+0.00) 473.65 (-0.00) 3600.28 (+0.00)
5d13a2 8.43 (-0.02) 15.35 (+0.04) 3600.14 (-0.00) 474.56 (+0.02) 3600.14 (-0.00)
f7249b 8.58 (+0.08) 14.77 (-0.04) 3600.25 (+0.00) 466.23 (-0.08) 3600.25 (+0.00)
306c4f 7.92 (-0.03) 15.33 (-0.02) 3600.18 (-0.00) 505.20 (+0.03) 3600.18 (-0.00)
bd5934 8.13 (-0.02) 15.71 (-0.01) 3600.26 (+0.00) 492.04 (+0.02) 3600.26 (+0.00)
b1a112 8.31 (-0.06) 15.93 (-0.08) 3600.25 (+0.00) 481.29 (+0.06) 3600.25 (+0.00)
99c159 8.81 (+0.02) 17.39 (+0.04) 3600.14 (-0.00) 454.24 (-0.02) 3600.14 (-0.00)
ea5a97 8.62 (-0.01) 16.76 (-0.00) 3600.26 (+0.00) 464.13 (+0.01) 3600.26 (+0.00)
89275f 8.72 (+0.10) 16.84 (+0.09) 3600.15 (+0.00) 458.79 (-0.09) 3600.15 (+0.00)
6d33d8 7.91 (-0.06) 15.49 (+0.06) 3600.12 (-0.00) 505.44 (+0.07) 3600.13 (-0.00)
a7f4ee 8.46 (+0.05) 14.62 (-0.06) 3600.55 (+0.00) 473.00 (-0.05) 3600.55 (+0.00)
6f28da 8.07 (-0.04) 15.48 (-0.01) 3600.14 (-0.00) 495.34 (+0.04) 3600.14 (-0.00)
41aa62 8.38 (+0.22) 15.71 (+0.17) 3600.21 (+0.00) 477.44 (-0.18) 3600.21 (+0.00)
7b5489 6.90 (-0.07) 13.39 (+0.07) 3600.16 (-0.00) 580.02 (+0.07) 3600.16 (-0.00)
a23b07 7.39 (+0.07) 12.46 (-0.04) 3600.36 (+0.00) 541.26 (-0.07) 3600.36 (+0.00)
cc2d00 6.91 (-0.13) 12.96 (-0.04) 3600.18 (-0.00) 579.25 (+0.16) 3600.18 (-0.00)
ba9df2 7.98 (+0.08) 13.50 (-0.12) 3600.19 (-0.00) 501.21 (-0.07) 3600.19 (-0.00)
a8f354 7.40 (-0.91) 15.27 (+1.45) 3600.30 (-0.00) 540.25 (+10.13) 3600.30 (-0.00)
7feb0d 82.38 (-0.02) 6.24 (-0.28) 3601.15 (+0.00) 48.56 (+0.02) 3601.15 (+0.00)
982fce 84.09 (+0.01) 8.71 (+0.26) 3601.13 (-0.00) 47.57 (-0.01) 3601.13 (-0.00)
1f151d 82.88 (-0.01) 6.94 (+0.24) 3601.14 (+0.00) 48.26 (+0.01) 3601.14 (+0.00)
ff1a1a 83.50 (-0.01) 5.59 (-0.38) 3601.14 (+0.00) 47.91 (+0.01) 3601.14 (+0.00)
b1477b 84.23 (-0.01) 8.96 (+0.14) 3601.11 (-0.00) 47.49 (+0.01) 3601.11 (-0.00)
1b947f 84.71 (-0.01) 7.89 (-0.08) 3601.15 (-0.00) 47.22 (+0.01) 3601.15 (-0.00)
a21b55 85.16 (+0.00) 8.60 (-0.07) 3601.19 (-0.00) 46.97 (-0.00) 3601.19 (-0.00)
4ba950 84.86 (+0.01) 9.23 (+0.25) 3601.27 (+0.00) 47.13 (-0.01) 3601.27 (+0.00)
4e359d 83.89 (+0.00) 7.37 (+0.03) 3601.11 (-0.00) 47.68 (-0.00) 3601.11 (-0.00)
3837fc 83.84 (-0.00) 7.18 (-0.02) 3601.11 (-0.00) 47.71 (+0.00) 3601.11 (-0.00)
edcf4d 84.24 (+0.00) 7.34 (+0.01) 3601.18 (+0.00) 47.48 (-0.00) 3601.18 (+0.00)
411c71 83.92 (-0.01) 7.24 (-0.16) 3601.16 (+0.00) 47.66 (+0.01) 3601.16 (+0.00)
854348 85.00 (+0.00) 8.58 (-0.06) 3601.14 (-0.00) 47.06 (-0.00) 3601.14 (-0.00)
7ba5c2 84.95 (+0.00) 9.13 (-0.05) 3601.17 (-0.00) 47.09 (-0.00) 3601.18 (-0.00)
ebea29 84.56 (-0.00) 9.58 (+0.10) 3601.26 (+0.00) 47.31 (+0.00) 3601.27 (+0.00)
22c890 84.87 (+0.01) 8.75 (-0.09) 3601.17 (-0.00) 47.13 (-0.01) 3601.17 (-0.00)
f0b2e0 84.36 (+0.00) 9.58 (+0.26) 3601.17 (+0.00) 47.41 (-0.00) 3601.17 (+0.00)
dec580 84.07 (+0.00) 7.60 (-0.11) 3601.10 (-0.00) 47.58 (-0.00) 3601.10 (-0.00)
dec580 83.84 (-0.00) 8.54 (+0.13) 3601.12 (-0.00) 47.71 (+0.00) 3601.12 (-0.00)
b1c2a6 84.09 (+0.00) 7.53 (-0.13) 3601.18 (+0.00) 47.57 (-0.00) 3601.18 (+0.00)
931094 83.90 (-0.00) 8.63 (+0.11) 3601.17 (+0.00) 47.68 (+0.00) 3601.17 (+0.00)
957acb 83.99 (-0.00) 7.79 (+0.01) 3601.10 (-0.00) 47.62 (+0.00) 3601.10 (-0.00)
846532 84.01 (+0.00) 7.73 (-0.12) 3601.12 (+0.00) 47.61 (-0.00) 3601.12 (+0.00)
d733bc 83.78 (-0.00) 8.80 (+0.01) 3601.08 (-0.00) 47.74 (-0.00) 3601.08 (-0.00)
75ffe3 83.78 (+0.00) 8.69 (+0.21) 3601.12 (-0.00) 47.74 (-0.00) 3601.12 (-0.00)
75ffe3 83.57 (-0.01) 7.19 (-0.19) 3601.15 (+0.00) 47.86 (+0.01) 3601.15 (+0.00)
bf4623 84.25 (+0.01) 8.82 (-0.06) 3601.09 (-0.00) 47.48 (-0.01) 3601.09 (-0.00)
b26c83 83.06 (-0.02) 9.40 (+0.04) 3601.12 (-0.00) 48.16 (+0.02) 3601.12 (-0.00)
9d714a 84.39 (+0.00) 9.07 (-0.13) 3601.32 (+0.00) 47.40 (-0.00) 3601.32 (+0.00)
6efea4 84.32 (+0.01) 10.41 (+0.11) 3601.11 (-0.00) 47.44 (-0.01) 3601.11 (-0.00)
4071ff 83.25 (-0.02) 9.38 (+0.10) 3601.13 (-0.00) 48.05 (+0.02) 3601.13 (-0.00)
4071ff 85.09 (+0.01) 8.53 (-0.03) 3601.14 (-0.00) 47.01 (-0.01) 3601.14 (-0.00)
870ba4 84.41 (-0.01) 8.84 (+0.01) 3601.20 (-0.00) 47.39 (+0.01) 3601.20 (-0.00)
f5ca89 85.04 (+0.01) 8.73 (-0.00) 3601.43 (+0.00) 47.03 (-0.01) 3601.43 (+0.00)
8bd565 84.43 (-0.01) 8.76 (-0.00) 3601.13 (-0.00) 47.37 (+0.01) 3601.13 (-0.00)
299db9 84.88 (-0.00) 8.77 (-0.14) 3601.19 (+0.00) 47.12 (+0.00) 3601.19 (+0.00)
93f3f4 84.94 (+0.01) 10.16 (+0.16) 3601.10 (+0.00) 47.09 (-0.01) 3601.10 (+0.00)
f6e2e0 84.36 (-0.01) 8.78 (-0.04) 3601.08 (-0.00) 47.42 (+0.01) 3601.08 (-0.00)
f6e2e0 84.94 (+0.00) 9.18 (+0.03) 3601.10 (-0.00) 47.09 (-0.00) 3601.10 (-0.00)
f6e2e0 84.57 (+0.00) 8.93 (-0.19) 3601.14 (+0.00) 47.30 (-0.00) 3601.14 (+0.00)
f1d960 84.40 (-0.00) 10.99 (+0.14) 3601.07 (-0.00) 47.39 (+0.00) 3601.07 (-0.00)
4a9279 84.52 (-0.01) 9.62 (+0.02) 3601.10 (-0.00) 47.33 (+0.01) 3601.10 (-0.00)
2e4bf7 85.03 (+0.00) 9.42 (+0.05) 3601.10 (-0.00) 47.04 (-0.00) 3601.10 (-0.00)
ce8fbb 84.96 (+0.01) 8.93 (+0.02) 3601.15 (+0.00) 47.08 (-0.01) 3601.15 (+0.00)
ce8fbb 84.33 (+0.00) 8.78 (-0.01) 3601.13 (+0.00) 47.43 (-0.00) 3601.13 (+0.00)
ce8fbb 84.26 (-0.01) 8.91 (-0.02) 3601.07 (-0.00) 47.47 (+0.01) 3601.07 (-0.00)
d1a0f2 85.02 (-0.00) 9.12 (+0.06) 3601.12 (-0.00) 47.05 (+0.00) 3601.12 (-0.00)
ccf92d 85.20 (+0.01) 8.59 (+0.00) 3601.17 (-0.00) 46.95 (-0.01) 3601.18 (-0.00)
02b8e0 84.25 (+0.00) 8.55 (-0.08) 3601.25 (+0.00) 47.47 (-0.00) 3601.25 (+0.00)
7b9057 84.22 (+0.00) 9.29 (+0.07) 3601.15 (+0.00) 47.49 (-0.00) 3601.15 (+0.00)
9cada8 84.19 (-0.01) 8.71 (-0.04) 3601.11 (-0.00) 47.51 (+0.01) 3601.11 (-0.00)
9cada8 84.76 (-0.00) 9.03 (+0.03) 3601.14 (-0.00) 47.19 (+0.00) 3601.14 (-0.00)
9cada8 84.81 (+0.00) 8.77 (+0.02) 3601.34 (+0.00) 47.16 (-0.00) 3601.34 (+0.00)
d19c52 84.74 (+0.01) 8.61 (+0.00) 3601.21 (+0.00) 47.20 (-0.01) 3601.21 (+0.00)
000eb1 84.31 (-0.01) 8.59 (-0.01) 3601.20 (+0.00) 47.44 (+0.01) 3601.20 (+0.00)
000eb1 84.75 (+0.01) 8.71 (+0.00) 3601.12 (-0.00) 47.20 (-0.01) 3601.12 (-0.00)
f51b48 84.19 (-0.00) 8.71 (-0.11) 3601.13 (-0.00) 47.51 (+0.00) 3601.13 (-0.00)
f51b48 84.37 (+0.00) 9.82 (+0.13) 3601.19 (+0.00) 47.41 (-0.00) 3601.19 (+0.00)
f51b48 84.23 (+0.00) 8.69 (+0.01) 3601.11 (-0.00) 47.49 (-0.00) 3601.11 (-0.00)
9f906f 83.97 (-0.07) 8.57 (+0.27) 3601.12 (-0.00) 47.64 (+0.07) 3601.12 (-0.00)
0692ff 90.13 (+0.08) 6.76 (-0.13) 3601.22 (+0.00) 44.38 (-0.07) 3601.22 (+0.00)
2caece 83.58 (+0.00) 7.74 (-0.04) 3601.12 (-0.00) 47.86 (-0.00) 3601.12 (-0.00)
bc7d3c 83.57 (+0.00) 8.02 (+0.07) 3601.13 (+0.00) 47.87 (-0.00) 3601.13 (+0.00)
2153d2 83.49 (-0.00) 7.52 (-0.02) 3601.10 (-0.00) 47.91 (+0.00) 3601.10 (-0.00)
2153d2 83.50 (+0.00) 7.70 (+0.01) 3601.15 (+0.00) 47.90 (-0.00) 3601.15 (+0.00)
a1b062 83.42 (-0.00) 7.60 (-0.02) 3601.12 (+0.00) 47.95 (+0.00) 3601.12 (+0.00)
1d9d7c 83.44 (-0.00) 7.75 (+0.02) 3601.09 (-0.00) 47.94 (+0.00) 3601.09 (-0.00)
3569c1 83.45 (+0.00) 7.56 (+0.02) 3601.15 (+0.00) 47.93 (-0.00) 3601.15 (+0.00)
eaff14 83.41 (-0.00) 7.43 (-0.01) 3601.13 (-0.00) 47.96 (+0.00) 3601.13 (-0.00)
f383b4 83.43 (+0.01) 7.48 (+0.08) 3601.16 (+0.00) 47.94 (-0.01) 3601.16 (+0.00)
f383b4 82.99 (-0.01) 6.91 (-0.25) 3601.08 (-0.00) 48.20 (+0.01) 3601.08 (-0.00)
a4256b 83.54 (+0.00) 9.20 (-0.14) 3601.11 (+0.00) 47.88 (-0.00) 3601.11 (+0.00)
371493 83.47 (-0.00) 10.68 (+0.22) 3601.07 (-0.00) 47.92 (+0.00) 3601.07 (-0.00)
c5c143 83.47 (+0.00) 8.74 (+0.12) 3601.18 (+0.00) 47.92 (-0.00) 3601.18 (+0.00)
58fa4f 83.19 (-0.00) 7.80 (-0.04) 3601.10 (+0.00) 48.08 (+0.00) 3601.10 (+0.00)
121d53 83.21 (-0.00) 8.14 (-0.02) 3601.09 (-0.00) 48.07 (+0.00) 3601.09 (-0.00)
ec3a3a 83.38 (+0.01) 8.29 (-0.03) 3601.18 (+0.00) 47.97 (-0.01) 3601.19 (+0.00)
96e783 82.32 (-0.02) 8.51 (-0.00) 3601.08 (-0.00) 48.59 (+0.02) 3601.08 (-0.00)
567b71 83.73 (+0.00) 8.54 (+0.17) 3601.17 (+0.00) 47.77 (-0.00) 3601.17 (+0.00)
847fc5 83.71 (+0.01) 7.27 (-0.08) 3601.16 (+0.00) 47.78 (-0.01) 3601.16 (+0.00)
5e08b3 83.28 (-0.00) 7.87 (+0.08) 3601.09 (-0.00) 48.03 (+0.00) 3601.09 (-0.00)
4d291d 83.66 (+0.00) 7.29 (+0.00) 3601.10 (-0.00) 47.81 (-0.00) 3601.10 (-0.00)
4d291d 83.62 (+0.02) 7.27 (-0.11) 3601.12 (-0.00) 47.83 (-0.02) 3601.12 (-0.00)
bf63f1 82.25 (-0.01) 8.17 (+0.02) 3601.16 (+0.00) 48.63 (+0.01) 3601.16 (+0.00)
0a0958 82.75 (+0.00) 8.04 (-0.06) 3601.07 (-0.00) 48.34 (-0.00) 3601.07 (-0.00)
aabca5 82.65 (-0.00) 8.52 (+0.08) 3601.15 (-0.00) 48.40 (+0.00) 3601.16 (+0.00)
a4be54 82.65 (-0.00) 7.87 (+0.02) 3601.15 (-0.00) 48.39 (+0.00) 3601.15 (-0.00)
a3d7ad 82.73 (+0.01) 7.73 (-0.05) 3601.17 (+0.00) 48.35 (-0.01) 3601.17 (+0.00)
a3d7ad 81.83 (+0.00) 8.17 (+0.05) 3601.12 (+0.00) 48.88 (-0.00) 3601.12 (+0.00)
8ba169 81.61 (-0.00) 7.82 (-0.04) 3601.11 (+0.00) 49.01 (+0.00) 3601.12 (+0.00)
e5cc2f 82.00 (-0.00) 8.18 (+0.02) 3601.08 (-0.00) 48.78 (+0.00) 3601.08 (-0.00)
c6b56d 82.38 (+0.01) 8.01 (-0.02) 3601.11 (-0.00) 48.55 (-0.01) 3601.11 (-0.00)
e067cd 81.86 (-0.01) 8.14 (-0.02) 3601.12 (-0.00) 48.87 (+0.01) 3601.12 (-0.00)
bce423 82.53 (+0.01) 8.31 (+0.04) 3601.15 (+0.00) 48.47 (-0.01) 3601.15 (+0.00)
bce423 81.90 (-0.01) 8.00 (+0.02) 3601.13 (+0.00) 48.84 (+0.01) 3601.13 (+0.00)
c28bfd 82.75 (+0.02) 7.84 (+0.00) 3601.11 (+0.00) 48.34 (-0.01) 3601.11 (+0.00)
95bf19 81.53 (+0.00) 7.83 (-0.03) 3601.09 (-0.00) 49.06 (-0.00) 3601.09 (-0.00)
95bf19 81.31 (-0.01) 8.03 (-0.00) 3601.10 (-0.00) 49.19 (+0.01) 3601.10 (-0.00)
080752 81.97 (+0.00) 8.06 (+0.06) 3601.11 (-0.00) 48.80 (-0.00) 3601.11 (-0.00)
23d5e2 81.75 (+0.01) 7.63 (-0.08) 3601.13 (-0.00) 48.93 (-0.01) 3601.13 (-0.00)
23d5e2 81.08 (-0.01) 8.28 (+0.03) 3601.13 (-0.00) 49.33 (+0.01) 3601.13 (-0.00)
8b710b 81.64 (-0.01) 8.03 (-0.03) 3601.15 (+0.00) 48.99 (+0.01) 3601.16 (+0.00)
8c6e60 82.67 (+0.01) 8.26 (+0.07) 3601.09 (-0.00) 48.38 (-0.01) 3601.09 (-0.00)
10dae7 81.91 (-0.01) 7.71 (-0.05) 3601.14 (-0.00) 48.83 (+0.01) 3601.14 (-0.00)
4c4d3d 82.89 (+0.02) 8.11 (+0.09) 3601.30 (+0.00) 48.26 (-0.02) 3601.30 (+0.00)
9f94d0 81.31 (-0.00) 7.44 (+0.14) 3601.09 (-0.00) 49.19 (+0.00) 3601.09 (-0.00)
9f94d0 81.37 (+0.00) 6.50 (-0.01) 3601.13 (+0.00) 49.16 (-0.00) 3601.13 (+0.00)
c700c7 81.23 (-0.00) 6.55 (-0.03) 3601.13 (+0.00) 49.24 (+0.00) 3601.13 (+0.00)
42c6dd 81.24 (-0.01) 6.73 (+0.04) 3601.12 (+0.00) 49.23 (+0.01) 3601.12 (+0.00)
f6bf7b 81.67 (+0.00) 6.50 (+0.02) 3601.10 (-0.00) 48.98 (-0.00) 3601.10 (-0.00)
1137b5 81.60 (-0.00) 6.40 (-0.01) 3601.19 (+0.00) 49.02 (+0.00) 3601.19 (+0.00)
1468c6 81.85 (-0.00) 6.47 (-0.04) 3601.15 (-0.00) 48.87 (+0.00) 3601.15 (-0.00)
1468c6 82.01 (+0.01) 6.75 (+0.05) 3601.17 (+0.00) 48.78 (-0.01) 3601.17 (+0.00)
c01f92 81.21 (-0.01) 6.41 (+0.01) 3601.12 (+0.00) 49.25 (+0.01) 3601.12 (+0.00)
7ff591 81.82 (+0.00) 6.34 (-0.00) 3601.07 (-0.00) 48.89 (-0.00) 3601.07 (-0.00)
5d4774 81.59 (-0.00) 6.36 (-0.24) 3601.13 (-0.00) 49.03 (+0.00) 3601.13 (-0.00)
56d8c2 81.71 (-0.00) 8.34 (+0.04) 3601.15 (-0.00) 48.95 (+0.00) 3601.16 (+0.00)
12e6f4 82.05 (+0.00) 7.99 (-0.04) 3601.16 (+0.00) 48.75 (-0.00) 3601.16 (+0.00)
12e6f4 81.72 (+0.00) 8.29 (+0.03) 3601.10 (-0.00) 48.95 (-0.00) 3601.10 (-0.00)
61194a 81.57 (-0.01) 8.03 (-0.15) 3601.12 (+0.00) 49.04 (+0.01) 3601.12 (+0.00)
70ce01 82.61 (-0.00) 9.40 (+0.03) 3601.12 (-0.00) 48.42 (+0.00) 3601.12 (-0.00)
c04c20 82.99 (+0.01) 9.16 (-0.01) 3601.12 (-0.00) 48.20 (-0.01) 3601.13 (+0.00)
827ee1 82.36 (-0.02) 9.21 (+0.06) 3601.13 (+0.00) 48.57 (+0.02) 3601.13 (+0.00)
22ae67 83.84 (+0.02) 8.69 (-0.08) 3601.09 (-0.00) 47.71 (-0.02) 3601.09 (-0.00)
0f4458 82.11 (-0.01) 9.41 (+0.04) 3601.15 (+0.00) 48.71 (+0.01) 3601.15 (+0.00)
b8a566 82.54 (-0.00) 9.05 (-0.13) 3601.14 (-0.00) 48.46 (+0.00) 3601.14 (-0.00)
9747e9 82.88 (+1.57) 10.37 (-0.17) 3601.19 (+0.00) 48.26 (-0.61) 3601.19 (+0.00)
b50e07 32.23 (+0.02) 12.53 (+0.10) 3600.52 (+0.00) 124.10 (-0.02) 3600.52 (+0.00)
6a57d5 31.65 (-0.01) 11.40 (-0.01) 3600.50 (+0.00) 126.38 (+0.01) 3600.50 (+0.00)
c0480f 31.86 (+0.01) 11.57 (+0.03) 3600.45 (-0.00) 125.53 (-0.01) 3600.45 (-0.00)
4f443c 31.43 (-0.02) 11.24 (-0.04) 3600.49 (+0.00) 127.25 (+0.02) 3600.49 (+0.00)
788823 31.98 (-0.53) 11.70 (-0.62) 3600.46 (-0.00) 125.09 (+1.11) 3600.47 (-0.00)
c21104 67.45 (+1.10) 30.73 (+1.71) 3600.90 (+0.00) 59.30 (-0.52) 3600.90 (+0.00)
b9544a 32.12 (+0.04) 11.34 (-0.01) 3600.44 (-0.00) 124.54 (-0.04) 3600.44 (-0.00)
33834c 30.81 (-0.01) 11.48 (+0.11) 3600.48 (-0.00) 129.83 (+0.01) 3600.48 (-0.00)
521667 31.17 (+0.04) 10.34 (-0.00) 3600.51 (+0.00) 128.34 (-0.04) 3600.51 (+0.00)
480175 30.07 (-0.06) 10.38 (+0.00) 3600.44 (-0.00) 133.00 (+0.06) 3600.44 (-0.00)
361648 31.91 (-0.01) 10.37 (-0.00) 3600.48 (-0.00) 125.34 (+0.01) 3600.48 (-0.00)
480175 32.14 (+0.04) 10.38 (+0.01) 3600.54 (+0.00) 124.47 (-0.04) 3600.54 (+0.00)
ae53dc 30.76 (-0.01) 10.24 (-0.01) 3600.54 (-0.00) 130.04 (+0.01) 3600.54 (-0.00)
05db64 30.94 (+0.05) 10.37 (+0.01) 3600.55 (+0.00) 129.29 (-0.05) 3600.55 (+0.00)
37625c 29.46 (-0.01) 10.23 (-0.00) 3600.44 (-0.00) 135.75 (+0.01) 3600.44 (-0.00)
a5b898 29.86 (-0.12) 10.25 (-0.43) 3600.54 (-0.00) 133.95 (+0.14) 3600.54 (-0.00)
cb9b26 33.91 (-0.03) 17.94 (+0.07) 3600.65 (+0.00) 117.95 (+0.03) 3600.65 (+0.00)
a50a7e 34.79 (-0.08) 16.82 (-0.22) 3600.46 (-0.00) 114.98 (+0.08) 3600.46 (-0.00)
60ac22 37.65 (+0.01) 21.67 (-0.03) 3600.51 (+0.00) 106.25 (-0.01) 3600.51 (+0.00)
0a87d7 37.30 (+0.01) 22.24 (+0.03) 3600.47 (+0.00) 107.24 (-0.01) 3600.47 (+0.00)
f87017 36.94 (+0.02) 21.65 (+0.13) 3600.43 (+0.00) 108.30 (-0.02) 3600.43 (+0.00)
f30ef0 36.27 (+0.08) 19.16 (+0.04) 3600.42 (-0.00) 110.28 (-0.07) 3600.42 (-0.00)
036952 33.72 (-0.04) 18.34 (-0.03) 3600.47 (-0.00) 118.64 (+0.05) 3600.47 (-0.00)
7fd88f 35.24 (-0.02) 18.92 (+0.01) 3600.47 (-0.00) 113.50 (+0.02) 3600.47 (-0.00)
b55466 36.08 (+0.05) 18.66 (+0.01) 3600.48 (+0.00) 110.87 (-0.05) 3600.48 (+0.00)
e999f6 34.32 (-0.01) 18.45 (-0.01) 3600.41 (-0.00) 116.55 (+0.01) 3600.41 (-0.00)
c1a76e 34.71 (+0.02) 18.71 (+0.09) 3600.54 (+0.00) 115.24 (-0.02) 3600.54 (+0.00)
bc40a5 34.16 (-0.01) 17.16 (+0.00) 3600.51 (+0.00) 117.08 (+0.01) 3600.51 (+0.00)
bc40a5 34.56 (-0.15) 17.12 (-0.34) 3600.44 (-0.00) 115.72 (+0.17) 3600.44 (-0.00)
c38f38 40.43 (-0.04) 26.01 (-0.00) 3600.60 (-0.00) 98.94 (+0.04) 3600.60 (-0.00)
511214 41.99 (+0.00) 26.03 (+0.01) 3600.73 (+0.00) 95.25 (-0.00) 3600.73 (+0.00)
d42700 41.89 (-0.02) 25.67 (-0.03) 3600.63 (+0.00) 95.48 (+0.02) 3600.63 (+0.00)
22cc87 42.59 (+0.05) 26.33 (+0.05) 3600.58 (+0.00) 93.92 (-0.05) 3600.58 (+0.00)
596d62 40.39 (-0.01) 25.11 (+0.01) 3600.45 (-0.00) 99.03 (+0.01) 3600.45 (-0.00)
596d62 40.83 (-0.01) 24.83 (-0.02) 3600.47 (+0.00) 97.96 (+0.01) 3600.47 (+0.00)
128dc8 41.40 (+0.03) 25.28 (-0.00) 3600.45 (+0.00) 96.62 (-0.02) 3600.45 (+0.00)
9f4960 40.38 (+0.09) 25.35 (+0.17) 3600.43 (-0.00) 99.06 (-0.08) 3600.43 (-0.00)
9f4960 37.22 (-0.02) 21.66 (-0.01) 3600.55 (-0.00) 107.48 (+0.02) 3600.55 (-0.00)
321aea 38.04 (+0.01) 21.80 (+0.02) 3601.05 (+0.00) 105.15 (-0.01) 3601.06 (+0.00)
fc4ea3 37.50 (+0.02) 21.46 (-0.03) 3600.44 (-0.00) 106.67 (-0.02) 3600.44 (-0.00)
773492 36.76 (+0.01) 22.06 (+0.03) 3600.50 (-0.00) 108.82 (-0.01) 3600.50 (-0.00)
8fbe43 36.28 (+0.01) 21.37 (+0.03) 3600.80 (+0.00) 110.25 (-0.01) 3600.80 (+0.00)
0ec5dd 35.98 (-0.03) 20.73 (-0.01) 3600.46 (-0.00) 111.15 (+0.03) 3600.46 (-0.00)
5d6553 37.12 (+0.02) 20.89 (-0.00) 3601.20 (+0.00) 107.76 (-0.02) 3601.20 (+0.00)
f03b7c 36.51 (-0.01) 20.90 (+0.02) 3600.62 (+0.00) 109.55 (+0.01) 3600.62 (+0.00)
f03b7c 36.71 (-0.09) 20.46 (-0.19) 3600.47 (-0.00) 108.95 (+0.09) 3600.47 (-0.00)
9fe454 40.13 (+0.01) 25.20 (+0.02) 3600.68 (+0.00) 99.66 (-0.01) 3600.68 (+0.00)
02f4e9 39.54 24.75 3600.53 101.16 3600.53

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query0]

platform: rds-aurora

revision Q0/1 Q0/2 Q0/3 total_duration
41aa62 9.65 (+0.01) 8.32 (-0.07) 8.59 (+0.12) 26.56 (+0.01)
7b5489 9.57 (-0.28) 8.98 (-0.11) 7.70 (-0.06) 26.25 (-0.17)
a23b07 13.33 (+0.18) 10.10 (+0.25) 8.23 (+0.04) 31.66 (+0.16)
cc2d00 11.33 (+0.43) 8.07 (-0.08) 7.92 (-0.18) 27.33 (+0.04)
ba9df2 7.91 (-0.15) 8.80 (+0.26) 9.60 (+0.53) 26.32 (+0.17)
a8f354 9.26 (+0.44) 6.99 (+0.02) 6.29 (+0.07) 22.54 (+0.17)
7feb0d 6.44 (-0.34) 6.88 (-0.26) 5.89 (-0.11) 19.21 (-0.25)
982fce 9.83 (+0.60) 9.32 (+0.41) 6.60 (+0.12) 25.75 (+0.38)
1f151d 6.16 (-0.27) 6.60 (+0.03) 5.88 (-0.07) 18.65 (-0.12)
ff1a1a 8.39 (+0.19) 6.38 (-0.23) 6.31 (-0.38) 21.08 (-0.17)
b1477b 7.05 (-0.03) 8.30 (-0.20) 10.12 (+0.40) 25.46 (+0.02)
1b947f 7.27 (+0.08) 10.42 (+0.03) 7.20 (-0.17) 24.90 (-0.02)
a21b55 6.74 (-0.20) 10.08 (+0.15) 8.68 (-0.05) 25.50 (-0.03)
4ba950 8.43 (+0.08) 8.78 (-0.07) 9.10 (+0.32) 26.31 (+0.09)
4e359d 7.78 (+0.05) 9.41 (-0.01) 6.90 (-0.13) 24.09 (-0.03)
3837fc 7.38 (+0.19) 9.51 (+0.56) 7.98 (+0.35) 24.86 (+0.37)
edcf4d 6.21 (-0.27) 6.09 (-0.05) 5.91 (-0.13) 18.21 (-0.16)
411c71 8.51 (+0.18) 6.39 (-0.03) 6.82 (+0.20) 21.72 (+0.11)
854348 7.24 (+0.16) 6.58 (+0.12) 5.69 (-0.18) 19.52 (+0.02)
7ba5c2 6.26 (-0.13) 5.89 (-0.16) 6.91 (+0.14) 19.06 (-0.06)
ebea29 7.21 (+0.00) 7.01 (+0.03) 6.08 (-0.04) 20.30 (+0.00)
22c890 7.18 (-0.02) 6.81 (-0.08) 6.30 (-0.00) 20.29 (-0.03)
f0b2e0 7.32 (+0.26) 7.39 (+0.34) 6.31 (+0.09) 21.02 (+0.23)
dec580 5.80 (-0.32) 5.53 (-0.12) 5.81 (-0.11) 17.14 (-0.20)
dec580 8.52 (+0.38) 6.28 (-0.25) 6.51 (+0.11) 21.32 (+0.05)
b1c2a6 6.16 (+0.08) 8.33 (+0.46) 5.88 (-0.15) 20.37 (+0.11)
931094 5.70 (-0.15) 5.70 (-0.19) 6.89 (+0.15) 18.29 (-0.07)
957acb 6.72 (+0.14) 7.00 (+0.28) 6.00 (-0.19) 19.72 (+0.05)
846532 5.90 (-0.00) 5.48 (+0.01) 7.41 (-0.00) 18.79 (+0.00)
d733bc 5.91 (-0.05) 5.41 (-0.11) 7.42 (+0.28) 18.74 (+0.03)
75ffe3 6.24 (+0.09) 6.08 (+0.10) 5.81 (-0.20) 18.13 (-0.02)
75ffe3 5.70 (-0.04) 5.52 (-0.16) 7.28 (-0.13) 18.50 (-0.12)
bf4623 5.96 (-0.17) 6.60 (-0.09) 8.40 (-0.02) 20.96 (-0.09)
b26c83 7.17 (-0.29) 7.27 (-0.02) 8.59 (+0.21) 23.04 (-0.06)
9d714a 10.04 (+0.34) 7.41 (-0.09) 7.10 (-0.04) 24.55 (+0.07)
6efea4 7.47 (+0.21) 8.10 (+0.21) 7.43 (+0.07) 23.00 (+0.16)
4071ff 6.20 (-0.17) 6.67 (-0.05) 6.93 (-0.08) 19.80 (-0.10)
4071ff 7.47 (-0.04) 7.00 (+0.03) 7.50 (+0.08) 21.97 (+0.02)
870ba4 7.75 (-0.07) 6.82 (+0.10) 6.97 (-0.30) 21.55 (-0.12)
f5ca89 8.31 (+0.06) 6.20 (-0.42) 10.00 (+0.04) 24.52 (-0.13)
8bd565 7.86 (+0.03) 10.60 (+0.12) 9.59 (+0.28) 28.06 (+0.14)
dd22c8 7.61 (+0.15) 9.43 (-0.00) 7.47 (-0.00) 24.52 (+0.04)
299db9 6.60 (-0.04) 9.43 (+0.20) 7.49 (+0.15) 23.52 (+0.11)
93f3f4 6.84 (+0.10) 7.87 (+0.08) 6.49 (-0.25) 21.21 (-0.05)
f6e2e0 6.24 (-0.26) 7.29 (-0.03) 8.69 (+0.06) 22.22 (-0.08)
f6e2e0 8.43 (-0.06) 7.49 (-0.04) 8.21 (-0.02) 24.13 (-0.04)
f6e2e0 8.99 (+0.32) 7.80 (-0.18) 8.37 (+0.20) 25.16 (+0.08)
f1d960 6.79 (+0.18) 9.47 (+0.02) 7.00 (-0.04) 23.26 (+0.04)
4a9279 5.76 (-0.45) 9.26 (+0.08) 7.32 (+0.06) 22.34 (-0.14)
2e4bf7 10.46 (+0.16) 8.58 (+0.11) 6.90 (-0.14) 25.94 (+0.05)
ce8fbb 9.05 (+0.24) 7.70 (-0.24) 8.00 (+0.19) 24.75 (+0.02)
ce8fbb 7.27 (-0.06) 10.19 (-0.08) 6.72 (-0.17) 24.19 (-0.10)
ce8fbb 7.75 (-0.16) 11.10 (+0.46) 8.10 (+0.30) 26.95 (+0.17)
d1a0f2 9.19 (+0.12) 7.58 (-0.21) 6.22 (-0.10) 23.00 (-0.07)
ccf92d 8.23 (+0.18) 9.59 (-0.07) 6.92 (+0.00) 24.74 (+0.02)
02b8e0 6.99 (-0.11) 10.28 (+0.43) 6.90 (+0.00) 24.18 (+0.10)
7b9057 7.90 (-0.04) 7.19 (-0.00) 6.89 (-0.08) 21.98 (-0.04)
9cada8 8.23 (-0.09) 7.22 (-0.29) 7.48 (+0.06) 22.93 (-0.13)
9cada8 9.07 (+0.39) 10.11 (+0.44) 7.09 (-0.03) 26.27 (+0.26)
9cada8 6.53 (-0.27) 7.00 (-0.15) 7.29 (-0.19) 20.83 (-0.20)
a60f68 8.96 (+0.48) 8.21 (-0.04) 8.98 (+0.31) 26.15 (+0.22)
d19c52 6.05 (-0.08) 8.52 (-0.13) 6.87 (+0.19) 21.45 (-0.03)
000eb1 6.60 (-0.27) 9.82 (+0.19) 5.78 (-0.02) 22.21 (-0.05)
000eb1 9.07 (+0.09) 8.28 (-0.01) 5.92 (-0.08) 23.27 (+0.01)
f51b48 8.35 (+0.14) 8.39 (-0.16) 6.41 (-0.32) 23.15 (-0.13)
f51b48 7.34 (+0.15) 9.99 (+0.07) 9.40 (+0.27) 26.74 (+0.16)
f51b48 6.41 (-0.34) 9.30 (+0.27) 7.40 (+0.12) 23.11 (-0.02)
9f906f 9.74 (+0.49) 7.31 (-0.11) 6.59 (+0.03) 23.65 (+0.12)
0692ff 6.55 (-0.34) 8.18 (+0.20) 6.42 (+0.14) 21.15 (-0.05)
2caece 9.95 (+0.57) 6.79 (+0.06) 5.62 (-0.21) 22.37 (+0.13)
bc7d3c 6.32 (-0.03) 6.41 (+0.04) 7.10 (+0.11) 19.84 (+0.04)
2153d2 6.50 (-0.01) 6.16 (-0.25) 6.40 (+0.00) 19.07 (-0.10)
2153d2 6.58 (-0.23) 8.18 (+0.17) 6.39 (-0.04) 21.15 (-0.05)
2153d2 8.58 (+0.19) 6.98 (-0.31) 6.68 (-0.08) 22.25 (-0.09)
a1b062 7.20 (+0.08) 10.10 (+0.60) 7.28 (+0.16) 24.58 (+0.28)
1d9d7c 6.68 (+0.14) 6.31 (-0.08) 6.28 (-0.26) 19.26 (-0.09)
3569c1 5.86 (-0.09) 6.83 (+0.10) 8.50 (+0.33) 21.18 (+0.11)
eaff14 6.45 (-0.19) 6.23 (-0.12) 6.38 (+0.02) 19.06 (-0.11)
f383b4 7.98 (+0.19) 7.09 (+0.10) 6.26 (-0.27) 21.34 (-0.02)
f383b4 6.70 (+0.03) 6.43 (-0.01) 8.59 (+0.29) 21.71 (+0.10)
f383b4 6.49 (-0.02) 6.49 (-0.24) 6.68 (-0.02) 19.66 (-0.10)
a4256b 6.59 (+0.08) 8.49 (+0.38) 6.80 (+0.14) 21.89 (+0.20)
371493 6.10 (-0.06) 6.13 (-0.04) 5.97 (-0.25) 18.21 (-0.13)
c5c143 6.49 (-0.01) 6.38 (+0.08) 8.00 (+0.13) 20.87 (+0.07)
58fa4f 6.56 (+0.04) 5.93 (-0.06) 7.08 (+0.07) 19.58 (+0.02)
121d53 6.34 (-0.08) 6.29 (+0.05) 6.60 (+0.00) 19.23 (-0.01)
121d53 6.86 (+0.09) 6.00 (-0.25) 6.60 (+0.00) 19.47 (-0.07)
ec3a3a 6.30 (-0.17) 8.03 (+0.30) 6.57 (+0.04) 20.90 (+0.04)
96e783 7.57 (+0.17) 6.19 (+0.11) 6.31 (+0.05) 20.08 (+0.11)
567b71 6.48 (-0.21) 5.60 (-0.08) 5.99 (-0.05) 18.08 (-0.12)
847fc5 8.18 (+0.21) 6.10 (+0.05) 6.29 (-0.10) 20.58 (+0.05)
5e08b3 6.74 (+0.10) 5.79 (-0.25) 7.02 (+0.15) 19.54 (-0.02)
4d291d 6.15 (+0.02) 7.69 (+0.31) 6.13 (-0.22) 19.97 (+0.01)
4d291d 6.06 (-0.13) 5.87 (-0.17) 7.83 (+0.21) 19.76 (-0.04)
bf63f1 6.94 (+0.17) 7.09 (+0.19) 6.49 (-0.18) 20.52 (+0.04)
0a0958 5.93 (-0.10) 5.98 (-0.05) 7.91 (+0.15) 19.82 (+0.00)
aabca5 6.61 (-0.12) 6.31 (-0.09) 6.89 (-0.06) 19.81 (-0.09)
a4be54 7.51 (+0.04) 6.93 (+0.19) 7.36 (-0.06) 21.81 (+0.05)
a3d7ad 7.22 (+0.05) 5.81 (-0.21) 7.81 (-0.03) 20.84 (-0.06)
a3d7ad 6.91 (+0.20) 7.31 (+0.22) 8.02 (-0.13) 22.24 (+0.06)
8ba169 5.78 (-0.02) 5.99 (-0.09) 9.23 (+0.10) 21.00 (+0.00)
e5cc2f 5.92 (-0.25) 6.61 (-0.16) 8.40 (+0.52) 20.94 (-0.02)
c6b56d 7.88 (+0.03) 7.89 (+0.29) 5.53 (-0.37) 21.30 (-0.06)
e067cd 7.67 (+0.11) 6.10 (-0.01) 8.79 (+0.22) 22.56 (+0.11)
bce423 6.88 (+0.11) 6.19 (-0.07) 7.20 (+0.00) 20.27 (+0.01)
bce423 6.18 (-0.06) 6.62 (+0.11) 7.17 (-0.02) 19.98 (+0.00)
c28bfd 6.60 (-0.08) 5.99 (+0.05) 7.32 (-0.23) 19.91 (-0.11)
95bf19 7.17 (+0.07) 5.73 (-0.36) 9.50 (+0.40) 22.40 (-0.00)
95bf19 6.72 (+0.14) 9.01 (+0.55) 6.77 (-0.06) 22.50 (+0.19)
080752 5.91 (+0.04) 5.80 (-0.26) 7.19 (+0.08) 18.90 (-0.06)
23d5e2 5.70 (-0.03) 7.82 (+0.35) 6.68 (-0.23) 20.20 (-0.01)
23d5e2 5.89 (+0.06) 5.79 (-0.25) 8.71 (+0.09) 20.40 (-0.04)
8b710b 5.58 (-0.03) 7.68 (+0.35) 8.01 (+0.07) 21.27 (+0.12)
8c6e60 5.77 (-0.01) 5.71 (+0.01) 7.47 (-0.01) 18.95 (-0.00)
10dae7 5.82 (-0.24) 5.63 (-0.07) 7.57 (-0.15) 19.03 (-0.16)
4c4d3d 7.66 (-0.25) 6.07 (-0.14) 8.90 (+0.51) 22.63 (-0.03)
9f94d0 10.22 (+0.27) 7.08 (+0.12) 5.91 (+0.00) 23.22 (+0.15)
9f94d0 8.02 (+0.39) 6.30 (+0.11) 5.88 (-0.02) 20.21 (+0.16)
9f94d0 5.78 (-0.23) 5.70 (+0.05) 6.01 (-0.03) 17.49 (-0.08)
c700c7 7.46 (+0.21) 5.42 (-0.11) 6.19 (-0.02) 19.07 (+0.03)
42c6dd 6.17 (-0.11) 6.08 (+0.01) 6.31 (-0.00) 18.57 (-0.03)
f6bf7b 6.89 (+0.20) 5.99 (+0.04) 6.32 (+0.05) 19.21 (+0.09)
1137b5 5.76 (-0.10) 5.77 (+0.06) 6.02 (-0.01) 17.56 (-0.02)
1468c6 6.38 (+0.13) 5.43 (-0.07) 6.08 (-0.10) 17.89 (-0.02)
1468c6 5.64 (-0.11) 5.87 (+0.13) 6.72 (-0.09) 18.24 (-0.04)
c01f92 6.36 (+0.11) 5.22 (-0.08) 7.38 (+0.23) 18.96 (+0.09)
7ff591 5.72 (+0.05) 5.68 (-0.21) 6.00 (-0.05) 17.40 (-0.08)
5d4774 5.46 (-0.16) 7.20 (+0.25) 6.32 (-0.20) 18.98 (-0.06)
56d8c2 6.47 (-0.23) 5.77 (-0.11) 7.88 (+0.36) 20.13 (-0.03)
12e6f4 8.44 (+0.42) 6.49 (+0.12) 5.79 (-0.02) 20.72 (+0.17)
12e6f4 5.96 (-0.00) 5.81 (-0.03) 5.90 (-0.25) 17.67 (-0.11)
61194a 5.96 (-0.78) 5.99 (-0.64) 7.90 (+0.10) 19.85 (-0.61)
70ce01 27.41 (+3.41) 16.79 (+1.40) 7.21 (-0.12) 51.41 (+1.40)
c04c20 6.22 (-0.78) 7.00 (-0.50) 8.21 (-0.05) 21.42 (-0.58)
827ee1 27.96 (+2.20) 13.88 (+1.21) 8.62 (+0.32) 50.47 (+1.34)
22ae67 8.73 (-0.56) 6.29 (-0.20) 6.53 (+0.05) 21.55 (-0.37)
0f4458 19.93 (-0.38) 7.89 (-0.35) 6.22 (-0.19) 34.04 (-0.35)
0f4458 32.31 (+0.06) 12.11 (+0.07) 7.70 (+0.28) 52.12 (+0.09)
0f4458 30.44 (+0.61) 11.30 (+0.49) 6.02 (-0.25) 47.76 (+0.38)
b8a566 18.91 (-0.39) 7.59 (-0.33) 7.99 (+0.20) 34.50 (-0.30)
b8a566 30.91 (+3.79) 11.41 (+0.46) 6.68 (-0.00) 49.00 (+1.34)
9747e9 6.46 (-0.33) 7.81 (-0.25) 6.70 (+0.24) 20.97 (-0.18)
b50e07 9.70 (-0.69) 10.39 (-0.26) 5.39 (-0.32) 25.48 (-0.52)
6a57d5 31.64 (+2.76) 14.03 (+0.56) 7.89 (+0.44) 53.56 (+1.34)
c0480f 8.41 (-0.72) 9.01 (-0.44) 5.49 (-0.13) 22.91 (-0.56)
4f443c 29.60 (+0.09) 16.13 (+0.29) 6.29 (-0.01) 52.02 (+0.13)
4f443c 27.10 (+0.58) 12.51 (+0.24) 6.38 (+0.16) 46.00 (+0.41)
788823 17.12 (+0.42) 10.12 (-0.03) 5.48 (-0.45) 32.72 (+0.01)
c21104 12.03 (-0.61) 10.48 (-0.58) 10.01 (+0.08) 32.52 (-0.50)
b9544a 31.00 (+0.74) 24.92 (+1.74) 9.28 (+0.34) 65.21 (+0.93)
33834c 17.84 (+1.88) 9.10 (+0.59) 6.90 (+0.19) 33.84 (+0.91)
521667 6.19 (-0.17) 5.72 (+0.00) 5.80 (+0.02) 17.71 (-0.06)
361648 7.48 (-0.63) 5.69 (-0.53) 5.70 (-0.12) 18.87 (-0.51)
fc0629 20.40 12.01 6.48 38.90

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query1]

platform: rds-aurora

revision Q1/1 Q1/2 Q1/3 total_duration
41aa62 83.39 (+0.04) 77.51 (+0.04) 77.61 (+0.08) 238.52 (+0.05)
7b5489 80.41 (-0.10) 74.81 (-0.11) 71.80 (-0.14) 227.02 (-0.12)
a23b07 88.93 (+0.08) 84.11 (+0.07) 83.60 (+0.11) 256.64 (+0.09)
cc2d00 82.09 (+0.05) 78.63 (+0.03) 75.51 (+0.07) 236.23 (+0.05)
ba9df2 77.93 (+0.15) 76.20 (+0.23) 70.62 (+0.17) 224.75 (+0.18)
a8f354 67.73 (+0.18) 62.12 (+0.12) 60.28 (+0.12) 190.14 (+0.14)
7feb0d 57.16 (-0.10) 55.44 (-0.10) 53.82 (-0.13) 166.42 (-0.11)
982fce 63.70 (+0.12) 61.80 (+0.07) 61.80 (+0.08) 187.30 (+0.09)
1f151d 56.70 (+0.02) 58.02 (+0.05) 57.18 (+0.14) 171.90 (+0.06)
ff1a1a 55.81 (-0.18) 55.37 (-0.15) 50.32 (-0.22) 161.50 (-0.18)
b1477b 68.03 (-0.06) 64.79 (-0.02) 64.42 (-0.00) 197.25 (-0.03)
1b947f 72.14 (+0.01) 66.15 (-0.04) 64.49 (-0.04) 202.79 (-0.02)
a21b55 71.08 (-0.09) 68.67 (-0.05) 67.22 (-0.06) 206.97 (-0.07)
4ba950 77.97 (+0.20) 72.20 (+0.19) 71.89 (+0.18) 222.06 (+0.19)
4e359d 65.01 (+0.03) 60.88 (+0.01) 60.81 (+0.04) 186.70 (+0.03)
3837fc 63.31 (+0.12) 60.19 (+0.07) 58.62 (+0.09) 182.12 (+0.09)
edcf4d 56.51 (+0.01) 56.50 (+0.05) 53.80 (+0.01) 166.80 (+0.02)
411c71 56.12 (-0.08) 53.80 (-0.12) 53.50 (-0.13) 163.42 (-0.11)
854348 61.24 (-0.04) 60.98 (+0.03) 61.31 (+0.02) 183.54 (+0.00)
7ba5c2 63.50 (-0.02) 59.39 (-0.01) 60.21 (-0.01) 183.10 (-0.01)
ebea29 64.64 (+0.09) 59.78 (-0.03) 61.10 (+0.06) 185.52 (+0.04)
22c890 59.15 (-0.03) 61.91 (+0.06) 57.91 (+0.04) 178.98 (+0.03)
f0b2e0 60.77 (+0.06) 58.36 (+0.07) 55.49 (+0.08) 174.61 (+0.07)
dec580 57.42 (+0.08) 54.50 (+0.05) 51.52 (+0.03) 163.43 (+0.05)
dec580 53.31 (-0.01) 52.07 (+0.01) 49.90 (-0.07) 155.29 (-0.03)
b1c2a6 54.02 (-0.02) 51.80 (-0.01) 53.51 (+0.03) 159.34 (+0.00)
931094 55.22 (-0.03) 52.27 (-0.02) 51.80 (+0.03) 159.30 (-0.01)
957acb 56.66 (+0.09) 53.07 (-0.01) 50.46 (-0.03) 160.20 (+0.02)
846532 52.09 (-0.03) 53.78 (-0.02) 51.79 (-0.03) 157.66 (-0.02)
d733bc 53.70 (-0.02) 54.71 (+0.08) 53.28 (+0.02) 161.69 (+0.02)
75ffe3 55.00 (+0.04) 50.49 (-0.05) 52.44 (+0.04) 157.93 (+0.01)
75ffe3 52.84 (-0.25) 53.41 (-0.17) 50.41 (-0.19) 156.66 (-0.20)
bf4623 70.51 (-0.05) 63.98 (-0.03) 62.24 (-0.03) 196.74 (-0.04)
b26c83 74.24 (+0.15) 66.10 (+0.07) 64.11 (+0.05) 204.46 (+0.09)
9d714a 64.74 (-0.08) 61.58 (-0.05) 60.83 (-0.03) 187.15 (-0.05)
6efea4 70.72 (-0.03) 64.56 (-0.02) 62.51 (-0.04) 197.79 (-0.03)
4071ff 72.61 (+0.12) 66.12 (+0.02) 64.90 (+0.01) 203.62 (+0.05)
4071ff 65.02 (-0.12) 64.81 (-0.05) 64.19 (-0.05) 194.03 (-0.08)
870ba4 74.04 (+0.12) 68.41 (+0.10) 67.80 (+0.03) 210.25 (+0.08)
f5ca89 66.01 (-0.05) 62.31 (-0.09) 66.09 (+0.03) 194.40 (-0.04)
8bd565 69.23 (-0.02) 68.13 (+0.07) 64.29 (+0.03) 201.65 (+0.02)
dd22c8 70.99 (+0.12) 63.89 (+0.05) 62.69 (+0.03) 197.57 (+0.07)
299db9 63.48 (-0.10) 60.83 (-0.04) 60.97 (-0.03) 185.29 (-0.06)
93f3f4 70.33 (+0.11) 63.24 (+0.04) 62.59 (+0.01) 196.16 (+0.06)
f6e2e0 63.31 (-0.07) 60.89 (-0.04) 61.70 (-0.04) 185.91 (-0.05)
f6e2e0 67.80 (+0.03) 63.50 (+0.01) 63.99 (+0.01) 195.29 (+0.02)
f6e2e0 65.61 (-0.09) 62.89 (-0.05) 63.20 (-0.03) 191.70 (-0.06)
f1d960 72.04 (+0.09) 66.06 (+0.05) 65.32 (+0.05) 203.42 (+0.06)
4a9279 66.38 (-0.01) 63.00 (+0.04) 62.10 (+0.02) 191.48 (+0.02)
2e4bf7 67.03 (+0.05) 60.71 (-0.02) 60.79 (-0.01) 188.53 (+0.01)
ce8fbb 63.70 (-0.01) 61.89 (-0.05) 61.22 (-0.07) 186.81 (-0.04)
ce8fbb 64.04 (-0.06) 65.31 (+0.01) 66.10 (+0.07) 195.44 (+0.00)
ce8fbb 68.16 (+0.00) 64.67 (-0.06) 62.00 (-0.03) 194.84 (-0.03)
d1a0f2 67.94 (+0.01) 69.10 (+0.07) 63.82 (-0.03) 200.86 (+0.02)
ccf92d 67.29 (-0.03) 64.53 (+0.01) 65.60 (-0.02) 197.42 (-0.01)
02b8e0 69.24 (+0.04) 63.81 (+0.02) 66.79 (+0.04) 199.84 (+0.03)
7b9057 66.73 (+0.00) 62.27 (-0.03) 64.28 (+0.05) 193.28 (+0.01)
9cada8 66.41 (-0.05) 64.19 (-0.00) 61.30 (+0.00) 191.90 (-0.02)
9cada8 69.95 (+0.05) 64.50 (+0.04) 61.10 (+0.03) 195.56 (+0.04)
9cada8 66.66 (-0.00) 62.09 (-0.01) 59.42 (-0.04) 188.16 (-0.02)
a60f68 66.93 (-0.01) 62.81 (-0.04) 61.86 (-0.06) 191.60 (-0.04)
d19c52 67.95 (+0.03) 65.42 (+0.03) 66.00 (+0.04) 199.37 (+0.03)
000eb1 65.78 (-0.04) 63.62 (-0.09) 63.49 (+0.00) 192.89 (-0.05)
000eb1 68.86 (+0.01) 69.77 (+0.12) 63.37 (+0.09) 202.00 (+0.07)
f51b48 67.98 (-0.05) 62.14 (-0.03) 58.38 (-0.09) 188.50 (-0.05)
f51b48 71.26 (+0.12) 63.96 (-0.01) 64.20 (+0.06) 199.43 (+0.06)
f51b48 63.59 (-0.04) 64.61 (+0.00) 60.60 (-0.05) 188.80 (-0.03)
9f906f 66.24 (+0.14) 64.49 (+0.18) 63.68 (+0.15) 194.40 (+0.15)
0692ff 58.18 (-0.04) 54.69 (-0.07) 55.50 (-0.03) 168.36 (-0.05)
2caece 60.64 (-0.10) 58.81 (-0.02) 57.47 (-0.04) 176.93 (-0.05)
bc7d3c 67.12 (+0.12) 59.78 (-0.01) 59.82 (+0.03) 186.73 (+0.05)
2153d2 59.67 (+0.00) 60.21 (+0.04) 58.16 (+0.01) 178.04 (+0.02)
2153d2 59.42 (-0.09) 58.13 (-0.04) 57.49 (-0.01) 175.03 (-0.05)
2153d2 65.64 (+0.09) 60.49 (+0.05) 58.04 (+0.02) 184.17 (+0.05)
a1b062 60.29 (+0.02) 57.75 (+0.03) 56.77 (-0.02) 174.81 (+0.01)
1d9d7c 59.32 (-0.08) 55.89 (-0.07) 58.08 (+0.01) 173.29 (-0.05)
3569c1 64.49 (+0.05) 60.02 (+0.02) 57.68 (-0.01) 182.19 (+0.02)
eaff14 61.16 (-0.03) 58.79 (+0.01) 58.28 (+0.02) 178.23 (+0.00)
f383b4 63.09 (+0.04) 58.20 (+0.02) 56.92 (-0.03) 178.21 (+0.01)
f383b4 60.55 (-0.02) 57.25 (-0.00) 58.41 (-0.02) 176.22 (-0.01)
f383b4 61.65 (+0.02) 57.50 (+0.03) 59.70 (+0.05) 178.85 (+0.04)
a4256b 60.24 (-0.03) 55.62 (-0.01) 56.61 (+0.00) 172.46 (-0.01)
371493 62.23 (-0.09) 56.01 (-0.06) 56.40 (+0.03) 174.65 (-0.05)
c5c143 68.61 (+0.14) 59.77 (+0.10) 54.90 (+0.01) 183.28 (+0.08)
58fa4f 60.45 (-0.03) 54.17 (-0.05) 54.48 (-0.03) 169.10 (-0.04)
121d53 62.35 (+0.04) 57.08 (+0.02) 56.41 (+0.01) 175.84 (+0.02)
121d53 60.11 (-0.05) 56.11 (-0.08) 55.90 (-0.05) 172.12 (-0.06)
ec3a3a 63.11 (+0.02) 61.13 (+0.07) 59.00 (+0.06) 183.24 (+0.05)
96e783 62.05 (+0.05) 56.97 (-0.00) 55.42 (+0.02) 174.45 (+0.02)
567b71 59.35 (-0.06) 56.97 (-0.02) 54.30 (-0.05) 170.62 (-0.04)
847fc5 63.08 (+0.11) 58.43 (+0.04) 56.87 (+0.01) 178.38 (+0.05)
5e08b3 56.83 (-0.05) 56.27 (+0.03) 56.10 (+0.09) 169.20 (+0.02)
4d291d 59.79 (+0.01) 54.39 (+0.01) 51.52 (-0.04) 165.70 (-0.01)
4d291d 59.20 (+0.00) 53.71 (-0.03) 53.89 (+0.03) 166.80 (-0.00)
bf63f1 59.19 (+0.02) 55.48 (+0.05) 52.20 (-0.03) 166.87 (+0.01)
0a0958 57.76 (-0.03) 52.87 (-0.02) 53.96 (-0.01) 164.60 (-0.02)
aabca5 59.29 (+0.10) 53.79 (-0.02) 54.32 (+0.01) 167.40 (+0.03)
a4be54 53.76 (-0.05) 54.69 (+0.06) 53.53 (+0.05) 161.99 (+0.02)
a3d7ad 56.55 (-0.09) 51.41 (+0.06) 51.11 (+0.07) 159.08 (+0.01)
a3d7ad 61.89 (+0.10) 48.51 (-0.01) 47.70 (-0.08) 158.10 (+0.01)
8ba169 56.32 (-0.01) 49.01 (+0.01) 51.69 (+0.00) 157.02 (+0.00)
e5cc2f 56.63 (-0.05) 48.32 (-0.01) 51.69 (+0.09) 156.64 (+0.00)
c6b56d 59.81 (-0.02) 48.93 (-0.04) 47.39 (-0.03) 156.12 (-0.03)
e067cd 61.20 (+0.02) 50.90 (-0.05) 48.91 (-0.02) 161.01 (-0.02)
bce423 59.78 (-0.03) 53.79 (+0.06) 49.98 (-0.02) 163.55 (-0.00)
bce423 61.83 (+0.10) 50.90 (+0.01) 51.19 (+0.05) 163.92 (+0.05)
c28bfd 56.10 (-0.08) 50.60 (-0.01) 48.87 (-0.00) 155.57 (-0.03)
95bf19 60.91 (+0.02) 51.13 (-0.01) 49.07 (-0.01) 161.11 (+0.00)
95bf19 59.44 (+0.07) 51.51 (+0.03) 49.49 (+0.03) 160.44 (+0.05)
080752 55.33 (-0.09) 49.78 (-0.01) 48.09 (-0.02) 153.20 (-0.04)
23d5e2 60.79 (+0.09) 50.12 (-0.00) 49.27 (-0.04) 160.18 (+0.02)
23d5e2 55.83 (+0.01) 50.20 (-0.01) 51.07 (+0.01) 157.10 (+0.01)
8b710b 55.14 (-0.07) 50.60 (+0.02) 50.32 (-0.01) 156.06 (-0.02)
8c6e60 59.56 (+0.12) 49.51 (+0.02) 50.69 (+0.01) 159.76 (+0.05)
10dae7 53.26 (-0.12) 48.34 (+0.04) 50.30 (+0.05) 151.89 (-0.02)
4c4d3d 60.83 (+0.04) 46.56 (-0.11) 48.03 (-0.02) 155.43 (-0.03)
9f94d0 58.76 (+0.01) 52.08 (+0.01) 49.01 (-0.00) 159.85 (+0.01)
9f94d0 57.96 (+0.02) 51.48 (+0.10) 49.02 (+0.11) 158.46 (+0.07)
9f94d0 56.73 (+0.07) 46.76 (+0.05) 44.03 (-0.03) 147.53 (+0.03)
c700c7 53.11 (-0.00) 44.38 (+0.02) 45.30 (+0.04) 142.80 (+0.02)
42c6dd 53.18 (-0.05) 43.51 (-0.02) 43.61 (-0.05) 140.30 (-0.04)
f6bf7b 55.86 (-0.01) 44.22 (-0.02) 46.03 (+0.07) 146.11 (+0.01)
1137b5 56.51 (+0.02) 44.90 (+0.05) 43.00 (-0.01) 144.41 (+0.02)
1468c6 55.21 (+0.04) 42.67 (-0.06) 43.60 (-0.02) 141.48 (-0.01)
1468c6 53.20 (+0.06) 45.38 (-0.01) 44.51 (+0.01) 143.09 (+0.02)
c01f92 50.42 (-0.05) 45.80 (+0.01) 44.08 (-0.00) 140.31 (-0.02)
7ff591 53.03 (+0.03) 45.52 (+0.05) 44.29 (+0.05) 142.84 (+0.04)
5d4774 51.41 (-0.09) 43.31 (-0.17) 42.01 (-0.20) 136.72 (-0.15)
56d8c2 56.48 (-0.01) 52.07 (-0.07) 52.20 (-0.06) 160.75 (-0.05)
12e6f4 56.90 (+0.05) 56.16 (+0.08) 55.60 (+0.05) 168.67 (+0.06)
12e6f4 53.94 (-0.03) 51.82 (+0.01) 53.01 (+0.02) 158.77 (-0.00)
61194a 55.58 (-0.09) 51.29 (-0.15) 52.18 (-0.14) 159.06 (-0.13)
70ce01 60.84 (-0.05) 60.28 (+0.03) 60.89 (+0.05) 182.01 (+0.01)
c04c20 64.09 (+0.06) 58.74 (-0.03) 57.83 (-0.02) 180.67 (+0.00)
827ee1 60.46 (-0.00) 60.81 (+0.03) 59.18 (+0.00) 180.45 (+0.01)
22ae67 60.54 (-0.00) 58.78 (-0.01) 58.90 (-0.01) 178.22 (-0.01)
0f4458 60.69 (-0.01) 59.59 (+0.01) 59.23 (+0.01) 179.51 (+0.00)
0f4458 61.03 (-0.03) 59.02 (-0.01) 58.69 (+0.03) 178.74 (-0.01)
0f4458 63.10 (+0.04) 59.85 (+0.02) 57.20 (+0.03) 180.15 (+0.03)
b8a566 60.88 (+0.00) 58.91 (-0.06) 55.79 (-0.11) 175.58 (-0.06)
b8a566 60.85 (-0.03) 62.81 (+0.09) 62.50 (+0.09) 186.16 (+0.05)
9747e9 62.45 (+0.02) 57.75 (+0.00) 57.53 (+0.03) 177.73 (+0.02)
b50e07 61.28 (-0.03) 57.61 (+0.15) 55.87 (+0.10) 174.76 (+0.06)
6a57d5 63.48 (+0.14) 50.30 (-0.12) 50.59 (-0.14) 164.36 (-0.04)
c0480f 55.83 (-0.02) 57.10 (+0.03) 58.80 (+0.03) 171.72 (+0.01)
4f443c 56.69 (-0.02) 55.61 (-0.01) 56.90 (-0.02) 169.21 (-0.02)
4f443c 57.99 (-0.00) 56.12 (-0.04) 58.28 (+0.04) 172.39 (-0.00)
788823 58.20 (-0.11) 58.66 (-0.18) 55.92 (-0.17) 172.78 (-0.16)
c21104 65.60 (+0.05) 71.60 (+0.21) 67.37 (+0.16) 204.57 (+0.14)
b9544a 62.31 (+0.06) 59.37 (-0.01) 58.12 (-0.05) 179.80 (-0.00)
33834c 58.91 (+0.03) 60.01 (+0.09) 61.29 (+0.12) 180.22 (+0.08)
521667 57.38 (-0.04) 55.09 (-0.04) 54.70 (-0.03) 167.16 (-0.04)
361648 60.08 (+0.10) 57.11 (+0.07) 56.30 (+0.01) 173.50 (+0.06)
fc0629 54.58 53.34 55.58 163.50

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query2]

platform: rds-aurora

revision Q2/1 Q2/2 Q2/3 total_duration
41aa62 75.52 (-0.05) 77.12 (+0.01) 77.57 (+0.02) 230.22 (-0.01)
7b5489 79.39 (-0.10) 76.48 (-0.10) 76.39 (-0.05) 232.26 (-0.08)
a23b07 87.97 (+0.12) 84.87 (+0.10) 80.01 (+0.04) 252.85 (+0.09)
cc2d00 78.33 (+0.09) 76.87 (+0.11) 77.20 (+0.06) 232.41 (+0.08)
ba9df2 72.13 (+0.19) 69.20 (+0.09) 72.90 (+0.20) 214.24 (+0.16)
a8f354 60.85 (+0.09) 63.42 (+0.17) 60.81 (+0.14) 185.08 (+0.13)
7feb0d 55.95 (-0.10) 54.30 (-0.17) 53.29 (-0.17) 163.54 (-0.15)
982fce 62.02 (+0.08) 65.50 (+0.16) 63.98 (+0.10) 191.50 (+0.11)
1f151d 57.40 (+0.08) 56.51 (+0.06) 58.02 (+0.05) 171.93 (+0.07)
ff1a1a 53.01 (-0.19) 53.31 (-0.21) 55.07 (-0.18) 161.40 (-0.19)
b1477b 65.61 (+0.02) 67.29 (-0.03) 66.81 (+0.02) 199.72 (+0.00)
1b947f 64.46 (-0.10) 69.10 (+0.01) 65.40 (-0.11) 198.96 (-0.07)
a21b55 71.81 (+0.03) 68.09 (-0.03) 73.83 (+0.05) 213.73 (+0.02)
4ba950 69.73 (+0.08) 70.38 (+0.05) 70.17 (+0.11) 210.28 (+0.08)
4e359d 64.46 (+0.10) 66.79 (+0.10) 63.20 (+0.05) 194.46 (+0.08)
3837fc 58.65 (+0.07) 60.79 (+0.13) 60.19 (+0.10) 179.63 (+0.10)
edcf4d 54.66 (-0.01) 53.79 (-0.03) 54.90 (-0.05) 163.35 (-0.03)
411c71 55.25 (-0.08) 55.21 (-0.09) 57.57 (-0.06) 168.03 (-0.08)
854348 60.00 (+0.00) 60.63 (+0.03) 61.37 (+0.02) 182.00 (+0.02)
7ba5c2 59.91 (-0.02) 58.69 (-0.05) 59.91 (-0.01) 178.51 (-0.03)
ebea29 60.96 (+0.07) 61.79 (+0.06) 60.60 (+0.04) 183.34 (+0.06)
22c890 57.00 (-0.01) 58.32 (-0.00) 58.21 (+0.03) 173.53 (+0.00)
f0b2e0 57.66 (+0.11) 58.58 (+0.08) 56.71 (+0.06) 172.95 (+0.08)
dec580 52.08 (-0.04) 54.12 (+0.03) 53.46 (-0.01) 159.68 (-0.01)
dec580 54.51 (+0.01) 52.61 (-0.01) 54.22 (+0.01) 161.34 (+0.01)
b1c2a6 53.83 (-0.00) 52.99 (-0.00) 53.50 (-0.01) 160.32 (-0.00)
931094 53.97 (+0.02) 53.13 (+0.01) 53.96 (+0.05) 161.06 (+0.02)
957acb 53.08 (+0.03) 52.81 (+0.03) 51.27 (-0.05) 157.16 (+0.00)
846532 51.48 (-0.03) 51.27 (-0.01) 54.03 (+0.03) 156.79 (-0.01)
d733bc 52.88 (+0.00) 52.01 (-0.02) 52.70 (+0.03) 157.59 (+0.00)
75ffe3 52.84 (-0.05) 52.89 (-0.03) 51.12 (-0.05) 156.84 (-0.05)
75ffe3 55.80 (-0.10) 54.49 (-0.14) 54.02 (-0.17) 164.32 (-0.14)
bf4623 62.20 (-0.06) 63.60 (-0.04) 65.21 (-0.04) 191.01 (-0.04)
b26c83 66.13 (+0.05) 66.01 (+0.03) 67.70 (+0.05) 199.83 (+0.04)
9d714a 63.04 (-0.00) 64.17 (+0.00) 64.22 (-0.04) 191.43 (-0.01)
6efea4 63.22 (-0.07) 63.89 (-0.06) 67.01 (+0.03) 194.12 (-0.03)
4071ff 67.84 (+0.09) 67.68 (+0.04) 64.81 (-0.03) 200.33 (+0.03)
4071ff 62.32 (-0.11) 64.99 (-0.03) 66.92 (+0.01) 194.23 (-0.05)
870ba4 70.35 (+0.10) 66.89 (-0.00) 66.48 (+0.06) 203.73 (+0.05)
f5ca89 64.17 (-0.06) 67.01 (-0.02) 62.81 (-0.09) 193.99 (-0.06)
8bd565 67.97 (+0.06) 68.28 (+0.07) 69.08 (+0.08) 205.33 (+0.07)
dd22c8 64.20 (+0.02) 63.60 (-0.04) 63.83 (-0.02) 191.64 (-0.01)
299db9 62.66 (-0.03) 66.32 (+0.00) 65.29 (+0.00) 194.28 (-0.01)
93f3f4 64.74 (+0.03) 66.00 (+0.03) 65.19 (+0.03) 195.94 (+0.03)
f6e2e0 63.12 (-0.04) 64.19 (-0.00) 63.39 (-0.00) 190.70 (-0.01)
f6e2e0 65.64 (-0.00) 64.45 (-0.00) 63.45 (-0.03) 193.55 (-0.01)
f6e2e0 65.75 (-0.03) 64.58 (-0.02) 65.29 (-0.03) 195.63 (-0.02)
f1d960 67.52 (+0.03) 65.61 (-0.06) 67.09 (+0.03) 200.22 (-0.00)
4a9279 65.84 (+0.01) 69.83 (+0.09) 64.99 (+0.01) 200.67 (+0.04)
2e4bf7 65.41 (+0.02) 63.90 (-0.06) 64.49 (-0.03) 193.81 (-0.02)
ce8fbb 64.08 (-0.05) 67.92 (+0.02) 66.20 (+0.00) 198.20 (-0.01)
ce8fbb 67.39 (+0.05) 66.82 (-0.00) 66.08 (+0.03) 200.29 (+0.02)
ce8fbb 64.42 (+0.02) 66.88 (+0.04) 64.12 (-0.05) 195.42 (-0.00)
d1a0f2 63.45 (-0.01) 64.56 (+0.04) 67.61 (+0.09) 195.63 (+0.04)
ccf92d 64.37 (-0.05) 62.34 (-0.04) 61.79 (-0.06) 188.50 (-0.05)
02b8e0 67.85 (+0.08) 64.61 (+0.04) 65.99 (+0.08) 198.45 (+0.07)
7b9057 62.98 (-0.00) 61.97 (-0.05) 61.31 (-0.04) 186.27 (-0.03)
9cada8 63.16 (+0.00) 64.92 (+0.01) 63.79 (+0.02) 191.87 (+0.01)
9cada8 63.05 (+0.01) 64.39 (+0.01) 62.51 (+0.00) 189.96 (+0.01)
9cada8 62.34 (+0.00) 64.07 (+0.00) 62.30 (-0.08) 188.71 (-0.03)
a60f68 62.11 (-0.05) 63.98 (-0.03) 67.62 (+0.05) 193.71 (-0.01)
d19c52 65.72 (-0.04) 66.02 (+0.01) 64.51 (-0.06) 196.26 (-0.03)
000eb1 68.63 (+0.11) 65.61 (+0.04) 68.96 (+0.04) 203.20 (+0.06)
000eb1 61.97 (+0.03) 63.30 (-0.05) 66.31 (+0.02) 191.58 (-0.00)
f51b48 60.22 (-0.04) 66.79 (+0.02) 64.93 (+0.00) 191.93 (-0.01)
f51b48 62.84 (-0.01) 65.26 (+0.06) 64.84 (+0.02) 192.94 (+0.02)
f51b48 63.62 (-0.03) 61.68 (-0.01) 63.33 (+0.04) 188.63 (+0.00)
9f906f 65.43 (+0.13) 62.18 (+0.07) 60.91 (+0.04) 188.52 (+0.08)
0692ff 57.69 (+0.01) 57.99 (-0.01) 58.61 (+0.02) 174.28 (+0.01)
2caece 57.33 (-0.02) 58.29 (-0.01) 57.63 (+0.02) 173.25 (-0.00)
bc7d3c 58.20 (-0.01) 59.12 (+0.02) 56.60 (-0.05) 173.93 (-0.02)
2153d2 58.87 (+0.05) 58.12 (+0.03) 59.69 (+0.05) 176.69 (+0.04)
2153d2 56.17 (-0.07) 56.28 (-0.06) 56.82 (-0.07) 169.28 (-0.06)
2153d2 60.35 (+0.04) 59.68 (+0.02) 60.89 (+0.00) 180.93 (+0.02)
a1b062 57.96 (-0.01) 58.46 (+0.02) 60.82 (+0.07) 177.24 (+0.03)
1d9d7c 58.66 (+0.02) 57.49 (-0.01) 56.73 (-0.03) 172.89 (-0.01)
3569c1 57.45 (-0.01) 57.99 (-0.04) 58.63 (+0.01) 174.06 (-0.01)
eaff14 58.06 (-0.02) 60.40 (+0.04) 58.21 (+0.01) 176.67 (+0.01)
f383b4 59.32 (+0.01) 57.81 (-0.02) 57.48 (+0.01) 174.61 (+0.00)
f383b4 58.54 (-0.04) 58.89 (+0.01) 56.79 (-0.05) 174.23 (-0.03)
f383b4 60.68 (+0.03) 58.39 (+0.02) 60.00 (+0.09) 179.07 (+0.05)
a4256b 58.65 (+0.01) 57.08 (-0.04) 54.82 (-0.04) 170.55 (-0.02)
371493 58.27 (+0.07) 59.39 (+0.05) 57.01 (-0.02) 174.67 (+0.03)
c5c143 54.61 (-0.06) 56.71 (-0.02) 58.19 (+0.02) 169.50 (-0.02)
58fa4f 58.07 (+0.02) 57.59 (-0.00) 57.02 (-0.01) 172.68 (+0.00)
121d53 56.90 (-0.02) 57.68 (+0.00) 57.32 (+0.02) 171.90 (+0.00)
121d53 58.03 (-0.01) 57.51 (-0.04) 56.19 (-0.01) 171.73 (-0.02)
ec3a3a 58.72 (+0.05) 60.01 (+0.04) 56.69 (-0.03) 175.43 (+0.02)
96e783 56.14 (+0.04) 57.83 (+0.08) 58.18 (+0.04) 172.15 (+0.05)
567b71 54.03 (-0.06) 53.30 (-0.07) 55.90 (-0.01) 163.23 (-0.05)
847fc5 57.36 (+0.02) 57.50 (+0.04) 56.22 (+0.01) 171.08 (+0.02)
5e08b3 56.35 (+0.02) 55.42 (-0.02) 55.80 (+0.01) 167.57 (+0.00)
4d291d 55.12 (-0.03) 56.81 (-0.01) 55.38 (-0.01) 167.30 (-0.02)
4d291d 56.56 (+0.03) 57.60 (+0.06) 56.20 (+0.02) 170.36 (+0.04)
bf63f1 54.77 (-0.02) 54.48 (-0.02) 54.90 (-0.00) 164.15 (-0.01)
0a0958 55.69 (+0.00) 55.88 (+0.02) 54.91 (-0.00) 166.48 (+0.01)
aabca5 55.44 (-0.00) 54.70 (-0.02) 55.18 (-0.02) 165.32 (-0.01)
a4be54 55.63 (+0.07) 55.60 (+0.13) 56.17 (+0.15) 167.41 (+0.11)
a3d7ad 52.13 (+0.09) 49.30 (-0.02) 48.81 (-0.01) 150.23 (+0.02)
a3d7ad 47.99 (-0.09) 50.18 (+0.04) 49.52 (-0.05) 147.70 (-0.03)
8ba169 52.47 (+0.00) 48.11 (-0.01) 51.97 (+0.04) 152.55 (+0.01)
e5cc2f 52.22 (+0.10) 48.67 (-0.05) 49.81 (-0.03) 150.70 (+0.00)
c6b56d 47.61 (-0.01) 51.22 (+0.02) 51.60 (+0.05) 150.43 (+0.02)
e067cd 48.00 (-0.02) 50.00 (-0.01) 48.92 (+0.02) 146.93 (-0.01)
bce423 49.15 (-0.01) 50.69 (+0.03) 47.90 (-0.05) 147.74 (-0.01)
bce423 49.64 (+0.01) 49.30 (-0.01) 50.51 (+0.01) 149.46 (+0.00)
c28bfd 49.09 (-0.03) 49.90 (+0.00) 50.09 (+0.00) 149.08 (-0.01)
95bf19 50.63 (+0.01) 49.69 (+0.02) 49.99 (+0.04) 150.32 (+0.02)
95bf19 50.29 (+0.04) 48.89 (-0.02) 48.18 (-0.01) 147.37 (+0.00)
080752 48.29 (-0.03) 49.88 (+0.02) 48.52 (+0.02) 146.69 (+0.00)
23d5e2 49.69 (-0.01) 48.79 (+0.01) 47.58 (-0.05) 146.07 (-0.02)
23d5e2 49.99 (-0.01) 48.49 (+0.06) 50.01 (+0.03) 148.49 (+0.03)
8b710b 50.27 (+0.03) 45.80 (-0.06) 48.58 (-0.02) 144.65 (-0.01)
8c6e60 48.75 (+0.04) 48.50 (-0.00) 49.58 (+0.07) 146.82 (+0.03)
10dae7 46.91 (-0.03) 48.70 (+0.02) 46.51 (-0.08) 142.11 (-0.03)
4c4d3d 48.33 (+0.02) 47.88 (-0.04) 50.61 (+0.09) 146.81 (+0.02)
9f94d0 47.29 (-0.07) 49.97 (+0.01) 46.30 (-0.07) 143.57 (-0.04)
9f94d0 50.87 (+0.06) 49.42 (+0.06) 49.61 (+0.08) 149.90 (+0.07)
9f94d0 47.94 (+0.10) 46.71 (+0.02) 45.88 (+0.05) 140.53 (+0.06)
c700c7 43.46 (-0.00) 45.60 (+0.02) 43.73 (-0.04) 132.79 (-0.01)
42c6dd 43.67 (-0.02) 44.79 (-0.05) 45.71 (-0.02) 134.17 (-0.03)
f6bf7b 44.44 (+0.01) 47.30 (+0.07) 46.60 (+0.05) 138.35 (+0.04)
1137b5 44.17 (+0.02) 44.01 (-0.01) 44.59 (+0.01) 132.77 (+0.01)
1468c6 43.34 (-0.04) 44.60 (+0.02) 44.01 (+0.02) 131.95 (-0.00)
1468c6 45.07 (-0.05) 43.71 (-0.02) 43.29 (-0.03) 132.07 (-0.03)
c01f92 47.45 (+0.06) 44.60 (+0.02) 44.71 (-0.00) 136.75 (+0.02)
7ff591 44.97 (+0.00) 43.79 (-0.02) 44.90 (-0.02) 133.67 (-0.01)
5d4774 44.86 (-0.18) 44.47 (-0.24) 45.62 (-0.16) 134.94 (-0.19)
56d8c2 54.57 (+0.04) 58.49 (+0.09) 54.31 (+0.02) 167.37 (+0.05)
12e6f4 52.52 (-0.03) 53.81 (+0.03) 53.30 (-0.00) 159.64 (+0.00)
12e6f4 53.91 (+0.03) 52.23 (-0.06) 53.47 (+0.03) 159.61 (-0.00)
61194a 52.18 (-0.13) 55.49 (-0.06) 51.99 (-0.13) 159.66 (-0.11)
70ce01 59.86 (+0.00) 59.21 (+0.00) 59.69 (-0.03) 178.77 (-0.01)
c04c20 59.84 (+0.01) 59.18 (-0.00) 61.49 (+0.02) 180.50 (+0.01)
827ee1 59.19 (-0.03) 59.37 (+0.02) 60.40 (+0.03) 178.96 (+0.01)
22ae67 60.76 (+0.03) 58.40 (-0.02) 58.60 (-0.01) 177.77 (+0.00)
0f4458 59.17 (+0.02) 59.30 (-0.01) 59.11 (-0.01) 177.58 (+0.00)
0f4458 58.25 (-0.00) 59.70 (+0.03) 59.43 (-0.01) 177.37 (+0.00)
0f4458 58.25 (+0.03) 58.01 (-0.02) 60.28 (-0.01) 176.54 (-0.00)
b8a566 56.46 (-0.07) 59.39 (-0.02) 60.83 (-0.00) 176.68 (-0.03)
b8a566 60.96 (+0.06) 60.51 (+0.03) 60.97 (+0.01) 182.44 (+0.04)
9747e9 57.58 (+0.02) 58.48 (+0.01) 60.12 (+0.02) 176.19 (+0.02)
b50e07 56.59 (+0.07) 57.70 (+0.13) 58.88 (+0.15) 173.18 (+0.12)
6a57d5 53.08 (-0.07) 50.96 (-0.09) 51.21 (-0.08) 155.25 (-0.08)
c0480f 57.09 (+0.01) 55.89 (+0.02) 55.69 (-0.00) 168.68 (+0.01)
4f443c 56.29 (-0.02) 54.99 (-0.08) 55.80 (-0.03) 167.08 (-0.04)
4f443c 57.29 (+0.03) 59.71 (+0.03) 57.59 (-0.01) 174.59 (+0.02)
788823 55.46 (-0.23) 57.71 (-0.11) 57.99 (-0.12) 171.16 (-0.15)
c21104 71.60 (+0.17) 64.77 (+0.06) 66.11 (+0.11) 202.47 (+0.11)
b9544a 60.98 (+0.02) 61.29 (+0.05) 59.51 (-0.02) 181.78 (+0.02)
33834c 59.82 (+0.06) 58.11 (+0.01) 60.57 (+0.06) 178.50 (+0.04)
521667 56.26 (+0.02) 57.69 (+0.09) 57.02 (+0.04) 170.98 (+0.05)
361648 54.89 (-0.01) 52.71 (-0.04) 54.77 (+0.00) 162.37 (-0.02)
fc0629 55.53 54.68 54.73 164.93

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query3]

platform: rds-aurora

revision Q3/1 Q3/2 Q3/3 total_duration
41aa62 8.83 (+0.06) 8.07 (+0.13) 8.51 (-0.15) 25.41 (+0.00)
7b5489 8.30 (-0.27) 7.12 (-0.07) 9.98 (+0.12) 25.41 (-0.09)
a23b07 11.39 (+0.38) 7.69 (-0.05) 8.89 (+0.10) 27.99 (+0.14)
cc2d00 8.28 (-0.20) 8.09 (+0.12) 8.09 (+0.10) 24.47 (-0.01)
ba9df2 10.30 (+0.42) 7.20 (+0.00) 7.34 (+0.10) 24.84 (+0.17)
a8f354 7.27 (-0.02) 7.20 (+0.22) 6.67 (+0.04) 21.15 (+0.07)
7feb0d 7.43 (+0.02) 5.90 (-0.06) 6.42 (-0.32) 19.75 (-0.14)
982fce 7.26 (+0.10) 6.29 (+0.02) 9.51 (+0.07) 23.06 (+0.06)
1f151d 6.62 (+0.04) 6.19 (+0.08) 8.90 (+0.43) 21.71 (+0.19)
ff1a1a 6.34 (-0.09) 5.71 (-0.42) 6.23 (-0.10) 18.28 (-0.23)
b1477b 6.94 (-0.32) 9.92 (+0.39) 6.89 (-0.09) 23.75 (-0.05)
1b947f 10.25 (+0.42) 7.12 (-0.01) 7.58 (-0.06) 24.95 (+0.11)
a21b55 7.22 (+0.07) 7.18 (-0.20) 8.03 (+0.07) 22.44 (-0.04)
4ba950 6.78 (+0.01) 9.03 (+0.41) 7.50 (+0.00) 23.30 (+0.13)
4e359d 6.72 (-0.14) 6.42 (-0.18) 7.47 (+0.06) 20.61 (-0.09)
3837fc 7.78 (+0.17) 7.79 (+0.14) 7.02 (+0.15) 22.59 (+0.16)
edcf4d 6.65 (-0.10) 6.82 (+0.12) 6.09 (-0.03) 19.56 (-0.01)
411c71 7.37 (-0.12) 6.09 (-0.03) 6.28 (-0.13) 19.74 (-0.10)
854348 8.39 (+0.43) 6.30 (-0.03) 7.18 (+0.18) 21.87 (+0.18)
7ba5c2 5.88 (-0.07) 6.48 (-0.06) 6.10 (-0.07) 18.46 (-0.07)
ebea29 6.33 (-0.06) 6.91 (+0.15) 6.56 (+0.10) 19.80 (+0.06)
22c890 6.70 (+0.01) 6.00 (-0.04) 5.99 (-0.04) 18.68 (-0.02)
f0b2e0 6.64 (+0.12) 6.28 (+0.08) 6.23 (-0.16) 19.14 (+0.00)
dec580 5.90 (-0.02) 5.83 (-0.01) 7.39 (+0.30) 19.12 (+0.09)
dec580 6.04 (+0.00) 5.87 (-0.02) 5.70 (-0.01) 17.61 (-0.01)
b1c2a6 6.02 (-0.19) 5.99 (+0.02) 5.74 (-0.10) 17.75 (-0.10)
931094 7.44 (+0.20) 5.90 (+0.00) 6.38 (+0.12) 19.73 (+0.11)
957acb 6.21 (+0.06) 5.88 (-0.01) 5.71 (-0.13) 17.81 (-0.03)
846532 5.84 (-0.16) 5.96 (-0.15) 6.60 (+0.12) 18.40 (-0.07)
d733bc 6.94 (-0.07) 7.01 (+0.15) 5.89 (-0.02) 19.85 (+0.01)
75ffe3 7.46 (-0.03) 6.09 (+0.03) 6.02 (-0.09) 19.57 (-0.03)
75ffe3 7.71 (-0.18) 5.93 (-0.23) 6.60 (+0.07) 20.23 (-0.13)
bf4623 9.42 (+0.30) 7.71 (-0.24) 6.19 (-0.09) 23.33 (-0.04)
b26c83 7.22 (-0.06) 10.18 (+0.59) 6.81 (-0.23) 24.22 (+0.05)
9d714a 7.67 (-0.05) 6.40 (+0.08) 8.90 (+0.13) 22.97 (+0.05)
6efea4 8.06 (+0.14) 5.91 (-0.13) 7.87 (+0.02) 21.84 (+0.01)
4071ff 7.05 (-0.27) 6.79 (-0.14) 7.70 (-0.00) 21.54 (-0.15)
4071ff 9.72 (+0.30) 7.91 (-0.08) 7.70 (-0.08) 25.34 (+0.03)
870ba4 7.50 (+0.09) 8.62 (+0.21) 8.38 (+0.18) 24.50 (+0.16)
f5ca89 6.91 (-0.04) 7.10 (-0.05) 7.11 (-0.04) 21.12 (-0.04)
8bd565 7.16 (+0.04) 7.49 (+0.06) 7.40 (-0.28) 22.05 (-0.09)
dd22c8 6.91 (-0.14) 7.09 (+0.09) 10.32 (+0.39) 24.32 (+0.11)
299db9 8.02 (-0.15) 6.48 (+0.04) 7.40 (+0.00) 21.91 (-0.05)
93f3f4 9.41 (+0.20) 6.23 (-0.32) 7.39 (+0.06) 23.03 (-0.04)
f6e2e0 7.83 (+0.07) 9.10 (-0.06) 6.98 (+0.03) 23.91 (+0.01)
f6e2e0 7.30 (-0.01) 9.64 (+0.01) 6.77 (-0.01) 23.71 (-0.00)
f6e2e0 7.38 (-0.27) 9.57 (+0.34) 6.80 (+0.01) 23.76 (-0.01)
f1d960 10.17 (+0.39) 7.17 (+0.07) 6.74 (-0.23) 24.07 (+0.06)
4a9279 7.30 (-0.03) 6.70 (-0.25) 8.73 (+0.11) 22.73 (-0.07)
2e4bf7 7.54 (+0.01) 8.99 (+0.23) 7.89 (-0.11) 24.42 (+0.03)
ce8fbb 7.44 (-0.23) 7.33 (-0.06) 8.89 (+0.34) 23.66 (-0.02)
ce8fbb 9.65 (+0.20) 7.81 (-0.09) 6.61 (-0.22) 24.08 (-0.04)
ce8fbb 8.04 (-0.10) 8.63 (+0.35) 8.50 (+0.29) 25.17 (+0.15)
d1a0f2 8.94 (+0.50) 6.41 (-0.08) 6.58 (-0.12) 21.93 (+0.07)
ccf92d 5.96 (-0.14) 6.97 (-0.13) 7.49 (+0.15) 20.42 (-0.05)
02b8e0 6.96 (-0.13) 7.97 (+0.14) 6.51 (-0.12) 21.45 (-0.04)
7b9057 7.98 (-0.17) 6.99 (-0.02) 7.38 (+0.09) 22.35 (-0.05)
9cada8 9.64 (+0.28) 7.11 (-0.27) 6.78 (-0.03) 23.54 (-0.03)
9cada8 7.54 (+0.04) 9.72 (+0.55) 7.02 (-0.25) 24.28 (+0.06)
9cada8 7.28 (-0.25) 6.27 (-0.07) 9.40 (+0.33) 22.95 (-0.02)
a60f68 9.69 (+0.45) 6.71 (-0.08) 7.08 (-0.14) 23.49 (+0.06)
d19c52 6.68 (+0.04) 7.28 (-0.24) 8.22 (+0.04) 22.18 (-0.07)
000eb1 6.43 (-0.28) 9.61 (+0.28) 7.87 (+0.08) 23.91 (+0.01)
000eb1 8.94 (+0.32) 7.50 (+0.12) 7.31 (-0.05) 23.75 (+0.12)
f51b48 6.75 (-0.07) 6.69 (-0.28) 7.70 (-0.02) 21.13 (-0.13)
f51b48 7.25 (-0.04) 9.28 (+0.36) 7.83 (+0.08) 24.36 (+0.12)
f51b48 7.57 (+0.03) 6.80 (-0.15) 7.28 (-0.08) 21.66 (-0.07)
9f906f 7.34 (-0.17) 8.03 (+0.18) 7.89 (+0.16) 23.26 (+0.03)
0692ff 8.88 (+0.21) 6.81 (+0.14) 6.80 (-0.12) 22.50 (+0.07)
2caece 7.35 (+0.22) 5.97 (-0.01) 7.72 (+0.08) 21.04 (+0.10)
bc7d3c 6.02 (-0.10) 6.00 (-0.23) 7.16 (+0.13) 19.18 (-0.08)
2153d2 6.72 (-0.15) 7.79 (+0.34) 6.33 (-0.04) 20.84 (+0.03)
2153d2 7.94 (+0.16) 5.81 (-0.15) 6.57 (+0.08) 20.32 (+0.03)
2153d2 6.85 (+0.01) 6.80 (+0.14) 6.10 (-0.06) 19.75 (+0.03)
a1b062 6.75 (+0.02) 5.95 (-0.01) 6.52 (+0.04) 19.22 (+0.01)
1d9d7c 6.64 (+0.04) 6.01 (-0.19) 6.29 (-0.08) 18.94 (-0.08)
3569c1 6.41 (+0.06) 7.40 (+0.08) 6.87 (+0.02) 20.68 (+0.05)
eaff14 6.07 (-0.07) 6.88 (-0.06) 6.71 (-0.02) 19.66 (-0.05)
f383b4 6.56 (-0.19) 7.30 (+0.22) 6.87 (+0.12) 20.73 (+0.03)
f383b4 8.07 (-0.03) 5.96 (-0.04) 6.12 (-0.06) 20.15 (-0.04)
f383b4 8.35 (-0.10) 6.20 (-0.06) 6.49 (+0.01) 21.04 (-0.05)
a4256b 9.23 (+0.45) 6.60 (-0.12) 6.41 (-0.09) 22.24 (+0.07)
371493 6.35 (-0.21) 7.50 (+0.13) 7.01 (-0.07) 20.86 (-0.06)
c5c143 8.05 (+0.32) 6.61 (+0.10) 7.56 (-0.17) 22.22 (+0.05)
58fa4f 6.10 (-0.08) 6.03 (-0.01) 9.09 (-0.05) 21.22 (-0.05)
121d53 6.60 (+0.09) 6.12 (+0.02) 9.60 (+0.57) 22.32 (+0.23)
121d53 6.07 (-0.15) 5.98 (-0.02) 6.12 (-0.21) 18.18 (-0.14)
ec3a3a 7.12 (+0.08) 6.13 (-0.01) 7.77 (-0.00) 21.03 (+0.02)
96e783 6.59 (-0.08) 6.21 (-0.11) 7.80 (+0.34) 20.60 (+0.03)
567b71 7.16 (-0.02) 7.01 (+0.05) 5.83 (-0.17) 19.99 (-0.05)
847fc5 7.33 (+0.09) 6.70 (+0.12) 7.06 (+0.16) 21.10 (+0.12)
5e08b3 6.74 (+0.09) 6.00 (-0.10) 6.10 (-0.14) 18.84 (-0.06)
4d291d 6.17 (-0.03) 6.70 (+0.12) 7.08 (-0.02) 19.96 (+0.02)
4d291d 6.35 (+0.05) 6.00 (-0.11) 7.22 (+0.02) 19.57 (-0.02)
bf63f1 6.05 (+0.01) 6.73 (+0.18) 7.09 (+0.17) 19.87 (+0.12)
0a0958 5.99 (-0.33) 5.69 (-0.05) 6.08 (+0.00) 17.76 (-0.16)
aabca5 8.98 (+0.56) 6.00 (-0.06) 6.08 (-0.00) 21.06 (+0.15)
a4be54 5.77 (-0.05) 6.40 (+1.18) 6.11 (+1.13) 18.28 (+0.54)
a3d7ad 6.10 (-0.12) 2.93 (-0.17) 2.87 (+0.03) 11.91 (-0.10)
a3d7ad 6.93 (+0.12) 3.52 (+0.21) 2.79 (-0.24) 13.23 (+0.04)
8ba169 6.18 (-0.03) 2.90 (-0.04) 3.68 (+0.31) 12.77 (+0.05)
e5cc2f 6.36 (-0.02) 3.01 (+0.04) 2.80 (-0.09) 12.17 (-0.02)
c6b56d 6.48 (-0.07) 2.91 (+0.04) 3.07 (+0.10) 12.46 (-0.01)
e067cd 6.97 (-0.12) 2.79 (+0.03) 2.78 (-0.11) 12.55 (-0.09)
bce423 7.94 (+0.18) 2.70 (-0.10) 3.13 (+0.12) 13.78 (+0.10)
bce423 6.74 (+0.10) 2.99 (-0.16) 2.80 (+0.01) 12.53 (+0.01)
c28bfd 6.14 (-0.09) 3.54 (+0.28) 2.76 (-0.19) 12.43 (-0.04)
95bf19 6.74 (-0.09) 2.76 (-0.11) 3.42 (+0.31) 12.92 (-0.01)
95bf19 7.38 (+0.23) 3.10 (-0.09) 2.61 (-0.07) 13.10 (+0.07)
080752 6.00 (+0.02) 3.39 (+0.20) 2.79 (-0.22) 12.19 (-0.01)
23d5e2 5.86 (-0.04) 2.82 (-0.09) 3.59 (+0.38) 12.28 (+0.04)
23d5e2 6.08 (+0.04) 3.10 (+0.15) 2.61 (+0.03) 11.79 (+0.06)
8b710b 5.87 (-0.08) 2.68 (-0.08) 2.53 (-0.09) 11.08 (-0.08)
8c6e60 6.36 (-0.13) 2.93 (-0.06) 2.77 (+0.10) 12.06 (-0.07)
10dae7 7.30 (+0.16) 3.12 (+0.04) 2.52 (-0.09) 12.94 (+0.07)
4c4d3d 6.28 (-0.26) 3.00 (+0.07) 2.77 (-0.08) 12.05 (-0.15)
9f94d0 8.45 (+0.08) 2.80 (+0.04) 3.01 (+0.04) 14.26 (+0.06)
9f94d0 7.83 (+0.33) 2.70 (-0.07) 2.90 (+0.12) 13.43 (+0.18)
9f94d0 5.90 (-0.11) 2.90 (+0.07) 2.58 (-0.16) 11.39 (-0.08)
c700c7 6.62 (+0.07) 2.72 (+0.02) 3.07 (-0.15) 12.41 (-0.00)
42c6dd 6.17 (+0.01) 2.68 (-0.07) 3.61 (+0.35) 12.45 (+0.07)
f6bf7b 6.09 (-0.04) 2.88 (+0.11) 2.68 (-0.03) 11.65 (-0.00)
1137b5 6.34 (+0.08) 2.60 (-0.26) 2.77 (+0.04) 11.70 (-0.03)
1468c6 5.85 (-0.09) 3.53 (+0.26) 2.67 (-0.04) 12.05 (+0.00)
1468c6 6.43 (+0.12) 2.80 (+0.07) 2.79 (+0.07) 12.03 (+0.10)
c01f92 5.77 (-0.05) 2.61 (-0.08) 2.60 (-0.09) 10.97 (-0.07)
7ff591 6.07 (+0.03) 2.85 (-0.13) 2.87 (+0.06) 11.79 (-0.01)
5d4774 5.88 (-0.08) 3.28 (-0.42) 2.70 (-0.60) 11.86 (-0.37)
56d8c2 6.36 (-0.05) 5.70 (-0.09) 6.70 (-0.05) 18.76 (-0.06)
12e6f4 6.73 (+0.05) 6.29 (-0.02) 7.03 (+0.02) 20.05 (+0.02)
12e6f4 6.39 (-0.14) 6.39 (+0.14) 6.91 (+0.14) 19.70 (+0.03)
61194a 7.47 (-0.13) 5.62 (-0.12) 6.08 (-0.04) 19.17 (-0.10)
70ce01 8.56 (+0.34) 6.42 (+0.04) 6.31 (-0.13) 21.30 (+0.07)
c04c20 6.37 (-0.06) 6.20 (+0.00) 7.27 (-0.17) 19.84 (-0.09)
827ee1 6.79 (-0.05) 6.19 (-0.25) 8.72 (+0.42) 21.70 (+0.01)
22ae67 7.13 (+0.07) 8.31 (+0.11) 6.12 (-0.06) 21.56 (+0.04)
0f4458 6.64 (+0.09) 7.49 (-0.24) 6.52 (+0.03) 20.65 (-0.07)
0f4458 6.08 (-0.08) 9.86 (+0.61) 6.32 (-0.25) 22.27 (+0.05)
0f4458 6.60 (-0.13) 6.12 (-0.06) 8.39 (+0.12) 21.11 (-0.02)
b8a566 7.63 (-0.10) 6.51 (-0.00) 7.50 (+0.14) 21.64 (+0.00)
b8a566 8.46 (+0.00) 6.53 (+0.03) 6.59 (-0.10) 21.58 (-0.02)
9747e9 8.44 (+0.24) 6.33 (+0.03) 7.29 (-0.09) 22.06 (+0.06)
b50e07 6.79 (-0.06) 6.13 (+0.91) 7.99 (+1.53) 20.91 (+0.54)
6a57d5 7.24 (+0.13) 3.20 (-0.47) 3.16 (-0.44) 13.61 (-0.25)
c0480f 6.42 (-0.25) 6.07 (+0.14) 5.62 (-0.06) 18.11 (-0.09)
4f443c 8.52 (+0.51) 5.32 (-0.08) 5.96 (-0.08) 19.81 (+0.11)
4f443c 5.63 (-0.32) 5.79 (+0.01) 6.50 (+0.10) 17.93 (-0.10)
788823 8.32 (-0.24) 5.72 (-0.30) 5.89 (-0.22) 19.94 (-0.25)
c21104 10.88 (+0.76) 8.13 (+0.27) 7.57 (+0.26) 26.58 (+0.43)
b9544a 6.18 (-0.18) 6.40 (-0.01) 6.01 (-0.06) 18.60 (-0.09)
33834c 7.51 (+0.35) 6.48 (+0.16) 6.42 (+0.12) 20.41 (+0.21)
521667 5.57 (-0.21) 5.59 (-0.08) 5.72 (-0.01) 16.88 (-0.11)
361648 7.02 (+0.21) 6.10 (+0.07) 5.78 (+0.01) 18.90 (+0.10)
fc0629 5.79 5.68 5.71 17.18

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query4]

platform: rds-aurora

revision Q4/1 Q4/2 Q4/3 total_duration
41aa62 13.57 (+0.02) 13.27 (-0.07) 14.32 (+0.22) 41.16 (+0.05)
7b5489 13.24 (-0.15) 14.23 (+0.03) 11.73 (-0.34) 39.20 (-0.17)
a23b07 15.61 (+0.24) 13.88 (-0.05) 17.75 (+0.45) 47.24 (+0.20)
cc2d00 12.63 (-0.10) 14.54 (+0.33) 12.28 (+0.02) 39.45 (+0.07)
ba9df2 14.11 (+0.13) 10.91 (+0.05) 11.99 (+0.03) 37.01 (+0.07)
a8f354 12.47 (+0.28) 10.43 (-0.07) 11.59 (+0.17) 34.50 (+0.12)
7feb0d 9.73 (-0.23) 11.16 (+0.04) 9.89 (-0.18) 30.78 (-0.13)
982fce 12.63 (+0.23) 10.69 (+0.06) 12.03 (-0.00) 35.36 (+0.09)
1f151d 10.31 (+0.06) 10.07 (-0.04) 12.09 (+0.11) 32.46 (+0.04)
ff1a1a 9.72 (-0.13) 10.51 (-0.27) 10.91 (-0.02) 31.13 (-0.15)
b1477b 11.11 (-0.16) 14.34 (+0.30) 11.17 (-0.10) 36.63 (-0.00)
1b947f 13.27 (+0.04) 11.04 (-0.12) 12.36 (-0.12) 36.67 (-0.07)
a21b55 12.79 (-0.05) 12.59 (-0.13) 13.99 (+0.09) 39.37 (-0.03)
4ba950 13.43 (+0.17) 14.45 (+0.34) 12.80 (-0.04) 40.69 (+0.14)
4e359d 11.46 (+0.08) 10.80 (-0.23) 13.30 (+0.15) 35.57 (-0.02)
3837fc 10.65 (+0.11) 14.11 (+0.19) 11.57 (+0.00) 36.33 (+0.10)
edcf4d 9.63 (-0.09) 11.83 (+0.14) 11.55 (+0.19) 33.02 (+0.08)
411c71 10.57 (-0.17) 10.40 (-0.06) 9.71 (-0.07) 30.68 (-0.11)
854348 12.71 (-0.07) 11.11 (+0.07) 10.50 (+0.00) 34.31 (-0.01)
7ba5c2 13.70 (+0.11) 10.38 (-0.07) 10.47 (+0.05) 34.56 (+0.03)
ebea29 12.39 (-0.01) 11.11 (-0.01) 10.00 (-0.21) 33.50 (-0.08)
22c890 12.46 (+0.01) 11.26 (+0.10) 12.61 (+0.18) 36.33 (+0.09)
f0b2e0 12.39 (+0.32) 10.28 (+0.05) 10.70 (-0.09) 33.37 (+0.08)
dec580 9.39 (-0.18) 9.80 (-0.03) 11.79 (+0.20) 30.98 (-0.01)
dec580 11.47 (+0.08) 10.08 (+0.01) 9.84 (-0.01) 31.39 (+0.03)
b1c2a6 10.63 (+0.15) 9.98 (-0.14) 9.92 (+0.03) 30.53 (+0.00)
931094 9.26 (-0.04) 11.54 (+0.06) 9.65 (-0.04) 30.45 (-0.01)
957acb 9.66 (+0.00) 10.91 (+0.18) 10.09 (-0.15) 30.66 (-0.00)
846532 9.62 (+0.00) 9.23 (-0.21) 11.89 (+0.22) 30.74 (-0.01)
d733bc 9.61 (-0.04) 11.72 (+0.13) 9.77 (+0.01) 31.10 (+0.03)
75ffe3 9.96 (+0.05) 10.40 (-0.16) 9.69 (-0.02) 30.07 (-0.05)
75ffe3 9.48 (-0.28) 12.33 (+0.12) 9.86 (-0.25) 31.68 (-0.15)
bf4623 13.13 (+0.05) 10.98 (-0.15) 13.22 (+0.05) 37.33 (-0.02)
b26c83 12.49 (+0.07) 12.88 (+0.13) 12.59 (+0.07) 37.96 (+0.09)
9d714a 11.70 (-0.24) 11.42 (+0.09) 11.75 (-0.06) 34.87 (-0.09)
6efea4 15.38 (+0.33) 10.47 (-0.13) 12.49 (-0.18) 38.34 (-0.01)
4071ff 11.57 (-0.07) 12.01 (+0.11) 15.18 (+0.20) 38.76 (+0.08)
4071ff 12.50 (+0.16) 10.86 (-0.31) 12.69 (+0.06) 36.05 (-0.07)
870ba4 10.79 (-0.13) 15.77 (+0.40) 12.00 (-0.12) 38.56 (+0.03)
f5ca89 12.41 (-0.01) 11.25 (-0.09) 13.68 (-0.07) 37.34 (-0.06)
8bd565 12.49 (+0.02) 12.38 (+0.00) 14.79 (+0.19) 39.66 (+0.07)
dd22c8 12.26 (-0.16) 12.34 (+0.18) 12.41 (-0.02) 37.00 (-0.02)
299db9 14.55 (+0.10) 10.50 (-0.03) 12.71 (+0.11) 37.76 (+0.06)
93f3f4 13.21 (+0.23) 10.78 (-0.24) 11.49 (+0.12) 35.49 (+0.01)
f6e2e0 10.77 (-0.11) 14.12 (+0.09) 10.29 (-0.09) 35.18 (-0.03)
f6e2e0 12.12 (+0.00) 12.93 (+0.02) 11.35 (-0.09) 36.39 (-0.02)
f6e2e0 12.10 (-0.02) 12.66 (+0.04) 12.44 (+0.05) 37.20 (+0.02)
f1d960 12.35 (+0.14) 12.16 (-0.08) 11.83 (-0.04) 36.34 (-0.00)
4a9279 10.82 (+0.02) 13.28 (-0.06) 12.29 (+0.10) 36.40 (+0.01)
2e4bf7 10.65 (-0.07) 14.19 (+0.05) 11.20 (+0.01) 36.04 (-0.00)
ce8fbb 11.42 (+0.00) 13.54 (+0.05) 11.08 (-0.09) 36.05 (-0.01)
ce8fbb 11.38 (+0.04) 12.87 (-0.12) 12.12 (+0.10) 36.37 (-0.01)
ce8fbb 10.91 (-0.26) 14.65 (+0.23) 11.00 (-0.09) 36.56 (-0.06)
d1a0f2 14.72 (+0.43) 11.95 (-0.03) 12.15 (-0.10) 38.82 (+0.08)
ccf92d 10.28 (-0.13) 12.34 (-0.11) 13.47 (+0.10) 36.09 (-0.05)
02b8e0 11.84 (+0.08) 13.91 (+0.13) 12.27 (+0.08) 38.02 (+0.10)
7b9057 10.98 (-0.14) 12.26 (+0.01) 11.32 (-0.04) 34.56 (-0.06)
9cada8 12.74 (+0.10) 12.14 (-0.07) 11.78 (+0.10) 36.67 (+0.04)
9cada8 11.62 (+0.05) 13.02 (+0.03) 10.67 (-0.16) 35.32 (-0.03)
9cada8 11.05 (-0.17) 12.62 (+0.11) 12.68 (-0.06) 36.35 (-0.05)
a60f68 13.36 (+0.12) 11.34 (-0.07) 13.46 (+0.01) 38.16 (+0.02)
d19c52 11.95 (+0.06) 12.17 (-0.02) 13.31 (+0.01) 37.43 (+0.02)
000eb1 11.24 (-0.22) 12.40 (+0.01) 13.22 (+0.15) 36.86 (-0.03)
000eb1 14.33 (+0.27) 12.23 (+0.12) 11.47 (-0.22) 38.03 (+0.03)
f51b48 11.32 (+0.02) 10.91 (-0.27) 14.77 (+0.31) 37.01 (-0.01)
f51b48 11.05 (-0.21) 14.87 (+0.13) 11.29 (-0.17) 37.21 (-0.09)
f51b48 14.04 (+0.32) 13.21 (-0.04) 13.60 (+0.19) 40.85 (+0.14)
9f906f 10.64 (-0.00) 13.77 (+0.17) 11.40 (+0.10) 35.80 (+0.09)
0692ff 10.67 (+0.02) 11.80 (+0.15) 10.39 (-0.19) 32.86 (-0.02)
2caece 10.42 (-0.19) 10.26 (-0.05) 12.87 (+0.20) 33.56 (-0.02)
bc7d3c 12.81 (+0.15) 10.85 (-0.19) 10.71 (-0.13) 34.37 (-0.07)
2153d2 11.16 (+0.06) 13.37 (-0.01) 12.31 (+0.18) 36.84 (+0.07)
2153d2 10.53 (+0.00) 13.48 (-0.02) 10.46 (-0.06) 34.47 (-0.03)
2153d2 10.50 (-0.12) 13.74 (+0.29) 11.16 (-0.08) 35.41 (+0.02)
a1b062 11.92 (-0.04) 10.61 (-0.00) 12.11 (+0.19) 34.64 (+0.04)
1d9d7c 12.43 (+0.01) 10.61 (+0.05) 10.21 (-0.12) 33.25 (-0.02)
3569c1 12.25 (+0.16) 10.07 (-0.21) 11.65 (+0.02) 33.97 (-0.02)
eaff14 10.55 (-0.02) 12.67 (-0.08) 11.44 (+0.05) 34.66 (-0.02)
f383b4 10.73 (+0.01) 13.71 (+0.24) 10.89 (-0.02) 35.33 (+0.08)
f383b4 10.64 (-0.15) 11.07 (+0.02) 11.13 (+0.10) 32.84 (-0.02)
f383b4 12.53 (+0.16) 10.83 (-0.04) 10.12 (-0.01) 33.48 (+0.04)
a4256b 10.84 (+0.09) 11.23 (-0.02) 10.19 (-0.11) 32.26 (-0.02)
371493 9.97 (+0.00) 11.40 (-0.05) 11.46 (+0.12) 32.84 (+0.02)
c5c143 9.93 (-0.04) 12.00 (+0.19) 10.19 (-0.20) 32.12 (-0.03)
58fa4f 10.36 (+0.02) 10.08 (-0.02) 12.78 (-0.01) 33.23 (-0.00)
121d53 10.14 (-0.17) 10.30 (-0.04) 12.92 (+0.33) 33.37 (+0.02)
121d53 12.19 (+0.12) 10.71 (+0.04) 9.69 (-0.22) 32.60 (-0.03)
ec3a3a 10.84 (-0.13) 10.29 (+0.05) 12.49 (+0.05) 33.61 (-0.02)
96e783 12.43 (+0.14) 9.84 (-0.15) 11.86 (+0.18) 34.13 (+0.05)
567b71 10.86 (+0.06) 11.59 (+0.04) 10.02 (-0.13) 32.48 (-0.01)
847fc5 10.21 (-0.02) 11.11 (-0.06) 11.48 (-0.08) 32.81 (-0.05)
5e08b3 10.44 (-0.01) 11.78 (+0.20) 12.42 (+0.07) 34.64 (+0.08)
4d291d 10.56 (-0.04) 9.83 (-0.01) 11.61 (-0.01) 32.00 (-0.02)
4d291d 10.97 (-0.00) 9.89 (-0.01) 11.70 (+0.03) 32.56 (+0.01)
bf63f1 10.99 (-0.09) 9.98 (-0.04) 11.35 (+0.15) 32.33 (-0.00)
0a0958 12.06 (+0.22) 10.43 (-0.17) 9.88 (-0.06) 32.38 (-0.02)
aabca5 9.86 (-0.15) 12.59 (+0.24) 10.52 (-0.02) 32.97 (+0.02)
a4be54 11.64 (+0.48) 10.14 (+0.55) 10.69 (+0.36) 32.47 (+0.46)
a3d7ad 7.87 (+0.21) 6.56 (-0.20) 7.87 (+0.04) 22.30 (+0.00)
a3d7ad 6.48 (-0.14) 8.19 (+0.18) 7.59 (+0.13) 22.27 (+0.05)
8ba169 7.56 (+0.05) 6.92 (-0.01) 6.74 (-0.01) 21.22 (+0.01)
e5cc2f 7.17 (+0.05) 7.01 (-0.21) 6.80 (-0.08) 20.99 (-0.09)
c6b56d 6.83 (-0.01) 8.89 (+0.20) 7.40 (-0.11) 23.12 (+0.02)
e067cd 6.89 (+0.01) 7.38 (+0.04) 8.31 (+0.03) 22.58 (+0.02)
bce423 6.85 (-0.15) 7.10 (+0.01) 8.10 (+0.13) 22.05 (-0.01)
bce423 8.06 (+0.24) 7.02 (-0.21) 7.18 (+0.07) 22.27 (+0.01)
c28bfd 6.48 (-0.04) 8.88 (+0.34) 6.70 (-0.30) 22.06 (-0.04)
95bf19 6.72 (-0.11) 6.61 (-0.01) 9.62 (+0.25) 22.96 (+0.05)
95bf19 7.59 (+0.13) 6.69 (+0.05) 7.67 (-0.12) 21.95 (+0.01)
080752 6.71 (-0.10) 6.39 (-0.10) 8.70 (+0.32) 21.80 (+0.03)
23d5e2 7.42 (+0.01) 7.09 (+0.06) 6.59 (-0.16) 21.10 (-0.04)
23d5e2 7.37 (-0.12) 6.69 (+0.00) 7.89 (+0.17) 21.95 (+0.01)
8b710b 8.36 (+0.03) 6.67 (-0.11) 6.74 (-0.04) 21.77 (-0.04)
8c6e60 8.08 (+0.23) 7.51 (+0.15) 7.01 (-0.20) 22.60 (+0.04)
10dae7 6.55 (-0.21) 6.51 (-0.10) 8.77 (+0.32) 21.83 (-0.01)
4c4d3d 8.25 (+0.24) 7.20 (+0.09) 6.62 (-0.24) 22.07 (+0.00)
9f94d0 6.65 (-0.02) 6.61 (-0.23) 8.76 (-0.03) 22.02 (-0.10)
9f94d0 6.79 (-0.15) 8.60 (+0.32) 9.00 (+0.35) 24.39 (+0.15)
9f94d0 8.01 (+0.27) 6.49 (+0.02) 6.66 (+0.05) 21.16 (+0.11)
c700c7 6.31 (-0.02) 6.36 (-0.11) 6.34 (-0.02) 19.01 (-0.05)
42c6dd 6.41 (-0.02) 7.17 (+0.12) 6.48 (-0.17) 20.07 (-0.03)
f6bf7b 6.56 (+0.02) 6.42 (+0.00) 7.80 (-0.04) 20.79 (-0.01)
1137b5 6.41 (-0.02) 6.39 (-0.01) 8.12 (+0.23) 20.93 (+0.07)
1468c6 6.57 (+0.01) 6.47 (+0.02) 6.59 (-0.15) 19.63 (-0.05)
1468c6 6.49 (-0.18) 6.37 (-0.04) 7.72 (+0.20) 20.58 (-0.02)
c01f92 7.88 (+0.22) 6.60 (-0.02) 6.42 (-0.10) 20.91 (+0.03)
7ff591 6.43 (-0.18) 6.72 (-0.02) 7.12 (+0.13) 20.28 (-0.03)
5d4774 7.81 (-0.34) 6.84 (-0.29) 6.30 (-0.36) 20.95 (-0.33)
56d8c2 11.80 (+0.24) 9.58 (-0.05) 9.91 (-0.10) 31.28 (+0.02)
12e6f4 9.52 (-0.01) 10.06 (+0.02) 11.00 (+0.00) 30.58 (+0.00)
12e6f4 9.65 (-0.03) 9.89 (-0.14) 10.99 (+0.14) 30.53 (-0.02)
61194a 9.92 (-0.10) 11.50 (-0.09) 9.63 (-0.09) 31.06 (-0.09)
70ce01 11.03 (-0.12) 12.59 (+0.20) 10.53 (-0.19) 34.16 (-0.05)
c04c20 12.48 (+0.25) 10.51 (-0.10) 13.06 (-0.06) 36.05 (+0.02)
827ee1 9.98 (-0.03) 11.64 (-0.10) 13.87 (+0.34) 35.49 (+0.06)
22ae67 10.24 (-0.12) 12.99 (+0.03) 10.31 (-0.01) 33.55 (-0.03)
0f4458 11.70 (+0.07) 12.63 (-0.00) 10.40 (+0.01) 34.73 (+0.02)
0f4458 10.91 (+0.10) 12.68 (+0.02) 10.33 (-0.16) 33.92 (-0.02)
0f4458 9.90 (-0.17) 12.43 (+0.19) 12.32 (+0.11) 34.66 (+0.04)
b8a566 11.88 (+0.13) 10.43 (-0.22) 11.08 (-0.04) 33.39 (-0.06)
b8a566 10.51 (+0.03) 13.35 (+0.09) 11.56 (+0.03) 35.42 (+0.05)
9747e9 10.16 (-0.04) 12.22 (+0.21) 11.20 (-0.07) 33.58 (+0.02)
b50e07 10.60 (+0.59) 10.11 (+0.33) 12.07 (+0.83) 32.77 (+0.57)
6a57d5 6.68 (-0.44) 7.61 (-0.25) 6.61 (-0.31) 20.90 (-0.34)
c0480f 11.91 (+0.21) 10.20 (-0.16) 9.58 (-0.00) 31.69 (+0.00)
4f443c 9.81 (-0.16) 12.20 (+0.20) 9.62 (-0.16) 31.63 (-0.05)
4f443c 11.75 (+0.05) 10.20 (-0.07) 11.41 (+0.08) 33.35 (+0.02)
788823 11.19 (-0.47) 11.01 (-0.45) 10.58 (-0.31) 32.79 (-0.42)
c21104 20.98 (+0.76) 19.91 (+0.82) 15.23 (+0.47) 56.13 (+0.69)
b9544a 11.89 (+0.15) 10.91 (-0.14) 10.37 (+0.02) 33.18 (+0.00)
33834c 10.37 (-0.10) 12.62 (+0.29) 10.16 (+0.06) 33.15 (+0.07)
521667 11.52 (+0.16) 9.80 (-0.17) 9.61 (-0.02) 30.93 (-0.02)
361648 9.94 (-0.13) 11.80 (+0.12) 9.80 (-0.14) 31.54 (-0.05)
fc0629 11.49 10.51 11.38 33.37

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query5]

platform: rds-aurora

revision Q5/1 Q5/2 Q5/3 total_duration
41aa62 104.53 (-0.03) 109.24 (+0.08) 105.45 (+0.00) 319.23 (+0.01)
7b5489 108.27 (-0.08) 101.55 (-0.14) 105.00 (-0.12) 314.83 (-0.11)
a23b07 117.45 (+0.10) 118.33 (+0.13) 119.28 (+0.11) 355.07 (+0.11)
cc2d00 107.13 (+0.06) 104.67 (+0.05) 107.67 (+0.10) 319.47 (+0.07)
ba9df2 101.34 (+0.19) 99.97 (+0.18) 97.84 (+0.15) 299.16 (+0.18)
a8f354 85.01 (+0.04) 84.55 (+0.03) 84.97 (+0.08) 254.54 (+0.05)
7feb0d 82.10 (-0.11) 81.82 (-0.11) 78.35 (-0.14) 242.28 (-0.12)
982fce 92.32 (+0.08) 92.08 (+0.15) 91.23 (+0.14) 275.63 (+0.12)
1f151d 85.11 (+0.08) 80.10 (+0.04) 80.04 (+0.04) 245.26 (+0.06)
ff1a1a 78.46 (-0.17) 77.20 (-0.19) 76.68 (-0.22) 232.33 (-0.19)
b1477b 94.19 (-0.03) 94.92 (-0.02) 98.51 (+0.06) 287.62 (+0.00)
1b947f 97.41 (-0.03) 96.48 (-0.05) 93.09 (-0.08) 286.98 (-0.05)
a21b55 100.24 (-0.06) 101.81 (-0.04) 100.70 (-0.08) 302.75 (-0.06)
4ba950 106.49 (+0.17) 106.40 (+0.18) 109.07 (+0.25) 321.97 (+0.20)
4e359d 91.23 (+0.03) 89.99 (+0.01) 87.12 (-0.02) 268.34 (+0.00)
3837fc 88.83 (+0.10) 89.30 (+0.14) 88.93 (+0.08) 267.06 (+0.11)
edcf4d 81.12 (+0.03) 78.10 (-0.00) 82.28 (-0.01) 241.51 (+0.00)
411c71 78.53 (-0.11) 78.40 (-0.11) 83.38 (-0.03) 240.32 (-0.08)
854348 87.90 (+0.03) 88.34 (-0.02) 86.32 (-0.02) 262.57 (-0.00)
7ba5c2 85.54 (-0.02) 89.83 (+0.03) 87.68 (+0.01) 263.05 (+0.01)
ebea29 87.34 (+0.04) 87.07 (+0.02) 87.23 (+0.03) 261.64 (+0.03)
22c890 84.34 (+0.00) 85.31 (+0.03) 84.98 (+0.03) 254.63 (+0.02)
f0b2e0 84.16 (+0.08) 82.45 (+0.06) 82.76 (+0.09) 249.36 (+0.08)
dec580 78.03 (+0.00) 77.73 (+0.03) 75.64 (-0.04) 231.39 (-0.00)
dec580 77.73 (-0.01) 75.62 (-0.02) 78.50 (+0.01) 231.85 (-0.01)
b1c2a6 78.70 (+0.02) 76.81 (+0.02) 77.59 (+0.00) 233.11 (+0.01)
931094 77.08 (-0.04) 75.38 (-0.05) 77.39 (-0.00) 229.85 (-0.03)
957acb 79.94 (+0.05) 79.10 (+0.03) 77.72 (+0.05) 236.77 (+0.04)
846532 75.80 (-0.01) 77.01 (+0.04) 74.25 (-0.04) 227.06 (-0.01)
d733bc 76.53 (-0.00) 74.31 (-0.03) 77.48 (-0.01) 228.32 (-0.01)
75ffe3 76.91 (-0.02) 76.61 (+0.01) 78.04 (+0.01) 231.56 (-0.00)
75ffe3 78.40 (-0.18) 75.93 (-0.19) 77.35 (-0.20) 231.69 (-0.19)
bf4623 95.12 (+0.01) 93.29 (-0.05) 96.55 (+0.01) 284.96 (-0.01)
b26c83 94.58 (-0.05) 98.33 (+0.03) 95.85 (-0.01) 288.76 (-0.01)
9d714a 99.53 (+0.05) 95.82 (+0.03) 96.84 (+0.02) 292.19 (+0.03)
6efea4 95.04 (-0.00) 93.08 (-0.02) 95.32 (+0.01) 283.44 (-0.01)
4071ff 95.05 (-0.02) 95.15 (-0.01) 94.70 (-0.05) 284.91 (-0.03)
4071ff 97.22 (-0.03) 96.08 (+0.00) 99.69 (+0.03) 293.00 (+0.00)
870ba4 100.43 (+0.05) 95.62 (+0.02) 96.40 (+0.00) 292.46 (+0.02)
f5ca89 96.04 (-0.03) 93.47 (-0.05) 96.39 (+0.03) 285.90 (-0.02)
8bd565 99.20 (+0.05) 98.32 (+0.04) 93.41 (-0.04) 290.93 (+0.02)
dd22c8 94.13 (-0.04) 94.82 (-0.02) 97.31 (+0.04) 286.27 (-0.01)
299db9 98.35 (+0.01) 96.61 (+0.01) 93.73 (+0.02) 288.69 (+0.01)
93f3f4 97.50 (-0.04) 95.90 (-0.00) 92.00 (-0.01) 285.40 (-0.02)
f6e2e0 101.25 (+0.05) 96.11 (-0.02) 92.79 (-0.01) 290.15 (+0.01)
f6e2e0 96.32 (+0.02) 98.37 (-0.02) 93.34 (+0.02) 288.03 (+0.00)
f6e2e0 94.33 (-0.05) 100.82 (+0.01) 91.56 (-0.04) 286.70 (-0.03)
f1d960 99.74 (+0.01) 99.68 (-0.00) 95.37 (-0.01) 294.79 (-0.00)
4a9279 98.86 (+0.02) 100.09 (-0.01) 96.41 (+0.03) 295.37 (+0.01)
2e4bf7 96.76 (-0.02) 101.38 (-0.01) 93.33 (-0.02) 291.47 (-0.02)
ce8fbb 98.71 (-0.03) 102.72 (+0.07) 95.18 (+0.04) 296.61 (+0.02)
ce8fbb 102.13 (+0.03) 96.21 (-0.08) 91.75 (-0.04) 290.09 (-0.03)
ce8fbb 99.23 (-0.03) 104.51 (+0.08) 95.89 (-0.04) 299.64 (-0.00)
d1a0f2 102.52 (+0.10) 97.05 (+0.03) 100.28 (+0.11) 299.84 (+0.08)
ccf92d 93.25 (-0.08) 93.91 (-0.03) 90.02 (-0.06) 277.19 (-0.06)
02b8e0 101.57 (+0.06) 96.46 (+0.02) 95.49 (+0.04) 293.52 (+0.04)
7b9057 95.66 (-0.02) 94.26 (-0.03) 91.60 (-0.00) 281.53 (-0.02)
9cada8 97.95 (+0.04) 96.69 (+0.02) 91.62 (-0.01) 286.25 (+0.02)
9cada8 93.73 (-0.05) 94.96 (-0.06) 93.00 (-0.01) 281.69 (-0.04)
9cada8 98.57 (+0.05) 100.69 (+0.00) 94.15 (-0.02) 293.41 (+0.01)
a60f68 93.44 (-0.03) 100.49 (+0.07) 95.88 (+0.01) 289.82 (+0.01)
d19c52 96.25 (-0.06) 94.28 (-0.04) 95.13 (-0.00) 285.66 (-0.03)
000eb1 102.50 (+0.04) 98.09 (+0.01) 95.13 (-0.03) 295.73 (+0.01)
000eb1 98.53 (+0.07) 96.70 (+0.01) 97.90 (+0.04) 293.13 (+0.04)
f51b48 91.80 (-0.06) 95.66 (-0.05) 94.23 (-0.03) 281.70 (-0.05)
f51b48 97.35 (+0.01) 100.90 (+0.10) 97.55 (+0.03) 295.80 (+0.05)
f51b48 96.27 (+0.01) 91.48 (+0.01) 94.80 (+0.02) 282.55 (+0.01)
9f906f 95.45 (+0.08) 90.40 (+0.06) 92.81 (+0.03) 278.66 (+0.06)
0692ff 88.30 (+0.03) 85.41 (+0.01) 90.12 (+0.04) 263.83 (+0.03)
2caece 85.99 (+0.02) 84.42 (-0.05) 86.83 (+0.02) 257.24 (-0.00)
bc7d3c 84.06 (-0.02) 88.81 (+0.03) 84.87 (-0.03) 257.74 (-0.01)
2153d2 86.02 (-0.02) 86.62 (+0.00) 87.08 (+0.06) 259.73 (+0.01)
2153d2 87.36 (+0.00) 86.51 (-0.02) 82.12 (-0.08) 256.00 (-0.03)
2153d2 87.13 (+0.05) 88.43 (+0.01) 89.66 (+0.02) 265.23 (+0.02)
a1b062 83.26 (-0.01) 87.59 (+0.01) 88.30 (+0.04) 259.15 (+0.01)
1d9d7c 84.20 (-0.04) 86.71 (+0.01) 84.70 (-0.05) 255.61 (-0.03)
3569c1 87.54 (-0.02) 85.89 (-0.03) 89.36 (+0.05) 262.79 (+0.00)
eaff14 89.29 (+0.03) 88.13 (+0.03) 85.36 (+0.03) 262.78 (+0.03)
f383b4 86.83 (-0.02) 85.43 (-0.04) 82.96 (-0.05) 255.23 (-0.04)
f383b4 88.61 (+0.04) 88.62 (+0.03) 87.40 (+0.05) 264.63 (+0.04)
f383b4 85.13 (+0.01) 86.00 (+0.01) 83.11 (-0.02) 254.25 (+0.00)
a4256b 84.14 (-0.03) 84.90 (-0.02) 84.82 (-0.00) 253.86 (-0.02)
371493 86.94 (+0.05) 87.02 (+0.03) 84.85 (+0.00) 258.82 (+0.03)
c5c143 82.84 (-0.03) 84.10 (-0.01) 84.61 (+0.02) 251.55 (-0.00)
58fa4f 85.18 (-0.04) 84.76 (+0.00) 82.74 (+0.02) 252.68 (-0.01)
121d53 89.00 (+0.07) 84.40 (-0.01) 81.12 (-0.02) 254.51 (+0.01)
121d53 83.22 (-0.05) 85.01 (+0.06) 82.58 (+0.01) 250.82 (+0.01)
ec3a3a 87.31 (+0.05) 80.03 (-0.07) 81.37 (-0.05) 248.71 (-0.02)
96e783 83.10 (-0.04) 86.12 (+0.05) 85.70 (+0.06) 254.92 (+0.02)
567b71 86.16 (+0.05) 82.01 (-0.02) 80.59 (-0.02) 248.76 (+0.00)
847fc5 82.42 (-0.03) 83.58 (-0.00) 82.29 (-0.02) 248.29 (-0.02)
5e08b3 84.97 (+0.02) 83.83 (+0.01) 83.58 (+0.00) 252.39 (+0.01)
4d291d 82.91 (+0.01) 83.25 (-0.02) 83.57 (-0.04) 249.73 (-0.02)
4d291d 82.05 (+0.01) 85.22 (+0.05) 86.74 (+0.05) 254.02 (+0.04)
bf63f1 81.39 (-0.00) 81.42 (-0.03) 82.56 (+0.01) 245.37 (-0.01)
0a0958 81.64 (-0.01) 84.30 (+0.00) 82.03 (+0.00) 247.97 (-0.00)
aabca5 82.36 (+0.00) 84.23 (+0.02) 81.94 (-0.03) 248.53 (-0.00)
a4be54 82.19 (+0.08) 82.40 (+0.06) 84.64 (+0.11) 249.24 (+0.08)
a3d7ad 76.33 (-0.01) 77.93 (-0.01) 76.40 (-0.02) 230.67 (-0.01)
a3d7ad 77.17 (-0.00) 78.40 (+0.02) 77.81 (-0.01) 233.39 (+0.00)
8ba169 77.21 (-0.02) 76.72 (+0.00) 78.56 (+0.02) 232.49 (+0.00)
e5cc2f 78.81 (+0.05) 76.43 (-0.00) 76.67 (-0.02) 231.92 (+0.01)
c6b56d 74.85 (-0.02) 76.75 (-0.01) 77.90 (+0.05) 229.50 (+0.01)
e067cd 76.76 (-0.00) 77.22 (+0.01) 73.84 (-0.02) 227.83 (-0.00)
bce423 77.07 (-0.03) 76.80 (-0.01) 75.00 (-0.02) 228.87 (-0.02)
bce423 79.76 (+0.08) 77.53 (+0.03) 76.81 (-0.01) 234.10 (+0.03)
c28bfd 74.18 (-0.04) 75.58 (-0.02) 77.22 (+0.02) 226.99 (-0.01)
95bf19 77.32 (+0.02) 77.39 (-0.02) 75.60 (-0.01) 230.31 (-0.01)
95bf19 76.13 (+0.02) 78.99 (+0.06) 76.41 (+0.01) 231.53 (+0.03)
080752 74.88 (-0.04) 74.20 (-0.00) 75.96 (-0.01) 225.04 (-0.02)
23d5e2 78.10 (+0.05) 74.53 (-0.03) 77.10 (+0.03) 229.73 (+0.02)
23d5e2 74.59 (-0.00) 76.78 (+0.02) 74.51 (-0.00) 225.89 (+0.00)
8b710b 74.77 (-0.04) 75.58 (+0.02) 74.79 (-0.01) 225.13 (-0.01)
8c6e60 77.94 (+0.10) 74.46 (-0.01) 75.77 (+0.02) 228.17 (+0.03)
10dae7 70.97 (-0.09) 75.40 (+0.03) 74.44 (-0.01) 220.81 (-0.03)
4c4d3d 77.76 (+0.04) 73.51 (-0.05) 75.50 (+0.03) 226.77 (+0.01)
9f94d0 74.58 (+0.01) 77.41 (+0.04) 73.42 (-0.01) 225.42 (+0.01)
9f94d0 74.16 (+0.06) 74.48 (+0.05) 73.80 (-0.02) 222.45 (+0.03)
9f94d0 69.76 (+0.01) 71.19 (+0.05) 75.15 (+0.03) 216.10 (+0.03)
c700c7 69.34 (-0.01) 67.63 (-0.01) 72.98 (+0.01) 209.94 (-0.00)
42c6dd 70.32 (+0.01) 68.36 (-0.01) 72.01 (-0.04) 210.69 (-0.02)
f6bf7b 69.91 (+0.01) 68.92 (+0.01) 75.16 (+0.10) 213.99 (+0.04)
1137b5 69.12 (-0.02) 68.34 (+0.00) 68.42 (+0.01) 205.89 (-0.00)
1468c6 70.76 (+0.02) 68.20 (+0.01) 67.54 (+0.01) 206.51 (+0.01)
1468c6 69.23 (+0.01) 67.72 (-0.03) 66.60 (-0.09) 203.55 (-0.04)
c01f92 68.41 (-0.02) 69.46 (-0.01) 73.30 (+0.04) 211.16 (+0.00)
7ff591 69.65 (+0.02) 69.96 (+0.00) 70.51 (+0.04) 210.13 (+0.02)
5d4774 68.38 (-0.10) 69.83 (-0.06) 68.09 (-0.12) 206.30 (-0.09)
56d8c2 76.13 (-0.02) 74.29 (-0.04) 77.49 (+0.03) 227.92 (-0.01)
12e6f4 77.52 (+0.04) 77.01 (-0.07) 74.98 (-0.01) 229.51 (-0.02)
12e6f4 74.76 (+0.00) 82.45 (+0.12) 75.88 (-0.01) 233.09 (+0.04)
61194a 74.41 (-0.14) 73.61 (-0.14) 76.70 (-0.14) 224.71 (-0.14)
70ce01 86.62 (+0.05) 85.53 (+0.01) 89.04 (+0.03) 261.20 (+0.03)
c04c20 82.40 (-0.03) 85.09 (+0.06) 86.36 (+0.02) 253.85 (+0.01)
827ee1 85.17 (-0.00) 80.51 (-0.05) 85.00 (+0.04) 250.69 (-0.00)
22ae67 85.27 (-0.02) 85.00 (+0.02) 81.68 (-0.01) 251.95 (-0.00)
0f4458 86.89 (+0.03) 83.60 (+0.00) 82.51 (-0.05) 253.01 (-0.00)
0f4458 84.57 (-0.01) 83.19 (+0.04) 86.49 (+0.04) 254.26 (+0.02)
0f4458 85.20 (+0.01) 79.92 (-0.05) 83.56 (-0.01) 248.68 (-0.01)
b8a566 84.06 (-0.05) 83.76 (-0.03) 84.21 (-0.06) 252.04 (-0.05)
b8a566 88.37 (+0.02) 86.68 (+0.05) 89.20 (+0.06) 264.25 (+0.05)
9747e9 86.34 (+0.07) 82.39 (-0.02) 84.10 (+0.01) 252.84 (+0.02)
b50e07 80.89 (+0.03) 84.29 (+0.10) 83.38 (+0.08) 248.57 (+0.07)
6a57d5 78.79 (-0.04) 76.65 (-0.04) 77.26 (+0.01) 232.70 (-0.02)
c0480f 81.89 (-0.02) 80.01 (+0.00) 76.44 (-0.06) 238.33 (-0.02)
4f443c 83.19 (+0.03) 79.65 (-0.06) 81.06 (-0.03) 243.90 (-0.02)
4f443c 80.71 (-0.02) 84.92 (+0.06) 83.31 (+0.04) 248.95 (+0.03)
788823 82.18 (-0.48) 80.32 (-0.53) 80.00 (-0.53) 242.50 (-0.52)
c21104 159.27 (+0.87) 171.58 (+0.96) 171.10 (+1.07) 501.95 (+0.97)
b9544a 84.97 (-0.02) 87.67 (+0.04) 82.76 (+0.00) 255.40 (+0.01)
33834c 86.55 (+0.09) 84.31 (+0.04) 82.64 (+0.07) 253.50 (+0.07)
521667 79.60 (-0.02) 80.81 (+0.04) 77.17 (-0.01) 237.59 (+0.00)
361648 81.26 (+0.01) 77.80 (-0.05) 78.32 (-0.02) 237.38 (-0.02)
fc0629 80.70 82.31 79.79 242.80

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query6]

platform: rds-aurora

revision Q6/1 Q6/2 Q6/3 total_duration
41aa62 9.64 (+0.26) 7.10 (-0.04) 9.10 (+0.04) 25.83 (+0.08)
7b5489 7.66 (+0.06) 7.41 (-0.20) 8.77 (-0.17) 23.85 (-0.12)
a23b07 7.23 (-0.04) 9.31 (+0.17) 10.53 (+0.05) 27.08 (+0.06)
cc2d00 7.51 (-0.23) 7.98 (+0.07) 10.03 (+0.21) 25.52 (-0.00)
ba9df2 9.80 (+0.37) 7.44 (+0.03) 8.28 (+0.09) 25.52 (+0.17)
a8f354 7.13 (+0.07) 7.20 (+0.00) 7.56 (+0.24) 21.90 (+0.10)
7feb0d 6.67 (+0.05) 7.17 (-0.09) 6.11 (-0.22) 19.96 (-0.10)
982fce 6.35 (+0.04) 7.90 (+0.23) 7.88 (-0.08) 22.13 (+0.05)
1f151d 6.10 (-0.14) 6.41 (+0.07) 8.61 (+0.41) 21.13 (+0.10)
ff1a1a 7.07 (+0.03) 5.98 (-0.19) 6.10 (-0.26) 19.16 (-0.15)
b1477b 6.83 (-0.12) 7.41 (-0.14) 8.21 (+0.04) 22.46 (-0.07)
1b947f 7.75 (+0.07) 8.60 (+0.01) 7.88 (-0.08) 24.23 (-0.00)
a21b55 7.24 (-0.03) 8.51 (-0.06) 8.60 (+0.05) 24.35 (-0.01)
4ba950 7.43 (+0.07) 9.01 (+0.31) 8.21 (+0.22) 24.66 (+0.20)
4e359d 6.95 (+0.07) 6.87 (-0.26) 6.73 (-0.01) 20.55 (-0.09)
3837fc 6.49 (-0.04) 9.31 (+0.26) 6.80 (+0.06) 22.59 (+0.10)
edcf4d 6.79 (+0.00) 7.39 (-0.03) 6.39 (+0.00) 20.58 (-0.01)
411c71 6.79 (+0.08) 7.60 (-0.24) 6.38 (-0.08) 20.77 (-0.11)
854348 6.28 (-0.01) 10.01 (+0.03) 6.97 (+0.05) 23.27 (+0.03)
7ba5c2 6.36 (-0.04) 9.68 (+0.24) 6.61 (+0.02) 22.65 (+0.08)
ebea29 6.62 (+0.13) 7.82 (-0.20) 6.48 (-0.04) 20.92 (-0.07)
22c890 5.85 (-0.10) 9.81 (+0.58) 6.77 (-0.11) 22.43 (+0.10)
f0b2e0 6.49 (-0.19) 6.19 (-0.03) 7.63 (+0.19) 20.32 (-0.02)
dec580 8.02 (+0.31) 6.41 (-0.13) 6.40 (+0.01) 20.83 (+0.05)
dec580 6.11 (+0.04) 7.34 (+0.11) 6.37 (-0.12) 19.81 (+0.01)
b1c2a6 5.85 (-0.05) 6.61 (+0.05) 7.21 (+0.18) 19.67 (+0.06)
931094 6.14 (+0.06) 6.30 (-0.22) 6.10 (-0.03) 18.54 (-0.08)
957acb 5.81 (-0.24) 8.08 (+0.30) 6.32 (+0.00) 20.22 (+0.00)
846532 7.67 (+0.25) 6.20 (-0.06) 6.30 (+0.07) 20.17 (+0.08)
d733bc 6.12 (-0.16) 6.59 (+0.10) 5.89 (-0.32) 18.60 (-0.15)
75ffe3 7.28 (+0.20) 5.97 (-0.01) 8.62 (+0.29) 21.88 (+0.17)
75ffe3 6.08 (-0.12) 6.00 (-0.25) 6.67 (-0.28) 18.75 (-0.22)
bf4623 6.90 (-0.17) 8.02 (+0.15) 9.20 (-0.04) 24.12 (-0.03)
b26c83 8.35 (+0.20) 6.98 (-0.00) 9.62 (+0.44) 24.95 (+0.21)
9d714a 6.98 (-0.08) 6.99 (-0.18) 6.69 (-0.13) 20.66 (-0.13)
6efea4 7.59 (-0.28) 8.48 (+0.07) 7.72 (+0.07) 23.80 (-0.07)
4071ff 10.52 (+0.21) 7.89 (-0.03) 7.23 (-0.01) 25.65 (+0.06)
4071ff 8.72 (+0.35) 8.11 (+0.07) 7.31 (-0.15) 24.14 (+0.07)
870ba4 6.47 (-0.33) 7.58 (+0.04) 8.59 (+0.24) 22.65 (-0.05)
f5ca89 9.69 (+0.34) 7.31 (+0.07) 6.93 (-0.08) 23.93 (+0.11)
8bd565 7.24 (-0.10) 6.86 (-0.12) 7.53 (-0.01) 21.63 (-0.08)
dd22c8 8.02 (+0.02) 7.78 (-0.04) 7.61 (+0.12) 23.41 (+0.03)
299db9 7.84 (+0.04) 8.07 (-0.04) 6.81 (-0.20) 22.72 (-0.07)
93f3f4 7.54 (+0.06) 8.40 (+0.13) 8.51 (-0.12) 24.45 (+0.01)
f6e2e0 7.12 (+0.04) 7.40 (-0.16) 9.68 (+0.15) 24.20 (+0.01)
f6e2e0 6.84 (+0.13) 8.77 (+0.09) 8.43 (+0.16) 24.04 (+0.12)
f6e2e0 6.06 (-0.34) 8.02 (-0.01) 7.30 (+0.03) 21.37 (-0.12)
f1d960 9.16 (+0.34) 8.11 (+0.14) 7.09 (-0.18) 24.36 (+0.08)
4a9279 6.83 (-0.03) 7.10 (-0.07) 8.63 (-0.09) 22.56 (-0.07)
2e4bf7 7.03 (-0.03) 7.62 (-0.01) 9.51 (+0.01) 24.16 (-0.01)
ce8fbb 7.26 (+0.01) 7.69 (-0.20) 9.42 (+0.05) 24.37 (-0.06)
ce8fbb 7.18 (+0.01) 9.61 (-0.11) 9.01 (+0.25) 25.79 (+0.03)
ce8fbb 7.10 (-0.19) 10.80 (+0.50) 7.22 (+0.00) 25.12 (+0.09)
d1a0f2 8.72 (-0.03) 7.20 (-0.25) 7.20 (-0.02) 23.12 (-0.11)
ccf92d 9.01 (+0.18) 9.57 (+0.10) 7.33 (-0.02) 25.91 (+0.09)
02b8e0 7.62 (+0.12) 8.73 (+0.20) 7.49 (+0.07) 23.84 (+0.13)
7b9057 6.80 (-0.05) 7.30 (+0.11) 7.02 (-0.22) 21.12 (-0.07)
9cada8 7.13 (-0.09) 6.60 (-0.03) 9.03 (+0.22) 22.75 (+0.03)
9cada8 7.86 (+0.15) 6.81 (-0.06) 7.39 (-0.20) 22.06 (-0.05)
9cada8 6.83 (-0.26) 7.27 (-0.11) 9.22 (+0.26) 23.32 (-0.05)
a60f68 9.20 (+0.16) 8.18 (-0.01) 7.29 (-0.23) 24.67 (-0.04)
d19c52 7.94 (+0.13) 8.30 (-0.15) 9.41 (+0.12) 25.66 (+0.02)
000eb1 7.03 (-0.10) 9.80 (+0.15) 8.39 (+0.03) 25.22 (+0.03)
000eb1 7.84 (+0.04) 8.50 (-0.02) 8.11 (+0.24) 24.46 (+0.08)
f51b48 7.53 (+0.05) 8.66 (+0.06) 6.53 (-0.32) 22.73 (-0.09)
f51b48 7.15 (-0.00) 8.19 (+0.00) 9.62 (+0.18) 24.96 (+0.06)
f51b48 7.16 (-0.04) 8.18 (+0.01) 8.18 (+0.18) 23.52 (+0.05)
9f906f 7.43 (+0.11) 8.10 (+0.17) 6.92 (-0.17) 22.45 (+0.02)
0692ff 6.67 (-0.12) 6.90 (+0.08) 8.38 (+0.22) 21.96 (+0.05)
2caece 7.58 (+0.00) 6.40 (-0.25) 6.87 (-0.00) 20.86 (-0.09)
bc7d3c 7.55 (+0.15) 8.52 (+0.34) 6.89 (-0.25) 22.96 (+0.04)
2153d2 6.57 (+0.06) 6.37 (-0.02) 9.18 (+0.37) 22.12 (+0.14)
2153d2 6.19 (-0.13) 6.52 (-0.30) 6.70 (-0.03) 19.41 (-0.17)
2153d2 7.09 (-0.01) 9.36 (+0.21) 6.93 (-0.04) 23.38 (+0.06)
a1b062 7.18 (+0.10) 7.76 (-0.03) 7.20 (+0.09) 22.15 (+0.05)
1d9d7c 6.52 (+0.09) 8.03 (-0.01) 6.60 (-0.04) 21.15 (+0.01)
3569c1 5.97 (-0.10) 8.11 (+0.12) 6.89 (-0.00) 20.97 (+0.01)
eaff14 6.64 (-0.02) 7.22 (+0.22) 6.91 (+0.04) 20.77 (+0.08)
f383b4 6.80 (+0.05) 5.91 (-0.24) 6.62 (-0.04) 19.32 (-0.09)
f383b4 6.50 (+0.03) 7.73 (+0.12) 6.90 (-0.11) 21.13 (+0.01)
f383b4 6.34 (-0.12) 6.88 (+0.09) 7.79 (+0.23) 21.01 (+0.06)
a4256b 7.24 (-0.06) 6.30 (-0.03) 6.32 (-0.00) 19.85 (-0.03)
371493 7.68 (+0.13) 6.48 (+0.01) 6.33 (-0.04) 20.49 (+0.03)
c5c143 6.80 (-0.02) 6.43 (-0.12) 6.57 (-0.11) 19.80 (-0.08)
58fa4f 6.91 (-0.22) 7.31 (+0.18) 7.40 (+0.14) 21.62 (+0.00)
121d53 8.85 (+0.41) 6.22 (+0.00) 6.47 (-0.15) 21.54 (+0.07)
121d53 6.26 (-0.07) 6.20 (-0.12) 7.59 (-0.20) 20.05 (-0.14)
ec3a3a 6.76 (-0.01) 7.07 (-0.10) 9.51 (+0.34) 23.34 (+0.07)
96e783 6.84 (-0.26) 7.82 (+0.18) 7.09 (+0.08) 21.75 (-0.03)
567b71 9.20 (+0.31) 6.62 (+0.03) 6.58 (-0.25) 22.40 (+0.01)
847fc5 7.01 (+0.06) 6.40 (-0.12) 8.83 (+0.37) 22.23 (+0.09)
5e08b3 6.62 (+0.11) 7.31 (-0.08) 6.42 (-0.01) 20.36 (+0.00)
4d291d 5.94 (-0.02) 7.91 (-0.02) 6.48 (-0.10) 20.33 (-0.05)
4d291d 6.06 (+0.01) 8.09 (+0.16) 7.23 (+0.02) 21.38 (+0.07)
bf63f1 5.99 (-0.04) 7.00 (+0.06) 7.09 (+0.16) 20.07 (+0.06)
0a0958 6.23 (-0.10) 6.58 (-0.00) 6.12 (-0.09) 18.93 (-0.06)
aabca5 6.90 (+0.13) 6.58 (-0.08) 6.72 (+0.05) 20.21 (+0.03)
a4be54 6.10 (+0.79) 7.18 (+1.54) 6.39 (+1.14) 19.67 (+1.13)
a3d7ad 3.42 (-0.18) 2.83 (-0.02) 2.99 (-0.19) 9.24 (-0.14)
a3d7ad 4.15 (+0.35) 2.90 (-0.03) 3.69 (+0.22) 10.74 (+0.18)
8ba169 3.07 (-0.03) 2.99 (+0.11) 3.03 (+0.01) 9.09 (+0.02)
e5cc2f 3.18 (-0.05) 2.70 (-0.10) 3.00 (-0.01) 8.89 (-0.05)
c6b56d 3.33 (+0.09) 2.99 (-0.25) 3.03 (-0.08) 9.36 (-0.10)
e067cd 3.04 (+0.00) 4.00 (+0.02) 3.30 (+0.10) 10.34 (+0.04)
bce423 3.03 (-0.03) 3.91 (+0.11) 3.00 (+0.00) 9.94 (+0.03)
bce423 3.12 (+0.07) 3.52 (+0.07) 2.99 (-0.00) 9.62 (+0.04)
c28bfd 2.93 (-0.24) 3.30 (+0.04) 3.00 (-0.03) 9.23 (-0.09)
95bf19 3.83 (+0.26) 3.16 (-0.15) 3.10 (-0.05) 10.10 (+0.01)
95bf19 3.04 (-0.04) 3.73 (+0.34) 3.27 (-0.22) 10.05 (-0.01)
080752 3.17 (+0.10) 2.79 (-0.04) 4.22 (+0.45) 10.18 (+0.17)
23d5e2 2.87 (-0.08) 2.90 (-0.04) 2.91 (-0.19) 8.68 (-0.11)
23d5e2 3.13 (-0.01) 3.02 (+0.07) 3.58 (+0.03) 9.73 (+0.03)
8b710b 3.17 (-0.05) 2.82 (-0.00) 3.47 (+0.13) 9.46 (+0.02)
8c6e60 3.33 (+0.23) 2.83 (-0.02) 3.08 (+0.00) 9.24 (+0.06)
10dae7 2.72 (-0.08) 2.89 (-0.15) 3.08 (+0.10) 8.69 (-0.05)
4c4d3d 2.95 (+0.05) 3.40 (+0.14) 2.81 (-0.35) 9.16 (-0.09)
9f94d0 2.80 (+0.02) 2.98 (-0.01) 4.32 (+0.44) 10.10 (+0.15)
9f94d0 2.76 (-0.24) 3.00 (-0.07) 3.00 (-0.11) 8.76 (-0.14)
9f94d0 3.62 (-0.07) 3.22 (+0.01) 3.37 (+0.16) 10.22 (+0.03)
c700c7 3.87 (+0.32) 3.20 (-0.09) 2.90 (-0.06) 9.97 (+0.04)
42c6dd 2.94 (+0.03) 3.53 (+0.14) 3.07 (+0.10) 9.54 (+0.09)
f6bf7b 2.85 (+0.02) 3.09 (-0.04) 2.80 (-0.03) 8.74 (-0.02)
1137b5 2.80 (-0.01) 3.20 (+0.10) 2.90 (-0.26) 8.91 (-0.08)
1468c6 2.82 (-0.25) 2.90 (+0.01) 3.92 (+0.39) 9.64 (+0.02)
1468c6 3.75 (+0.24) 2.88 (+0.03) 2.81 (-0.06) 9.45 (+0.07)
c01f92 3.02 (-0.01) 2.80 (+0.04) 2.98 (-0.00) 8.81 (+0.01)
7ff591 3.05 (+0.08) 2.70 (-0.12) 2.99 (-0.01) 8.74 (-0.02)
5d4774 2.82 (-0.54) 3.06 (-0.51) 3.03 (-0.58) 8.91 (-0.54)
56d8c2 6.07 (-0.17) 6.22 (-0.03) 7.28 (+0.12) 19.57 (-0.03)
12e6f4 7.35 (+0.20) 6.41 (-0.00) 6.50 (-0.03) 20.26 (+0.05)
12e6f4 6.12 (+0.03) 6.42 (+0.03) 6.70 (+0.07) 19.25 (+0.04)
61194a 5.94 (-0.14) 6.22 (-0.10) 6.28 (-0.24) 18.44 (-0.17)
70ce01 6.90 (-0.03) 6.88 (-0.21) 8.31 (+0.26) 22.10 (-0.01)
c04c20 7.08 (+0.05) 8.70 (+0.01) 6.59 (+0.03) 22.37 (+0.03)
827ee1 6.73 (-0.17) 8.60 (+0.36) 6.41 (-0.01) 21.74 (+0.04)
22ae67 8.16 (+0.32) 6.31 (-0.09) 6.50 (-0.20) 20.96 (-0.01)
0f4458 6.20 (-0.05) 6.90 (+0.03) 8.12 (+0.13) 21.22 (+0.04)
0f4458 6.54 (+0.05) 6.72 (-0.24) 7.19 (+0.13) 20.45 (-0.04)
0f4458 6.20 (-0.04) 8.80 (+0.19) 6.34 (-0.13) 21.34 (+0.01)
b8a566 6.46 (-0.05) 7.41 (-0.10) 7.28 (+0.07) 21.15 (-0.03)
b8a566 6.84 (+0.12) 8.21 (+0.02) 6.81 (+0.02) 21.86 (+0.05)
9747e9 6.10 (-0.18) 8.03 (+0.28) 6.68 (-0.18) 20.81 (-0.05)
b50e07 7.42 (+1.77) 6.30 (+1.52) 8.10 (+1.69) 21.82 (+1.66)
6a57d5 2.68 (-0.70) 2.50 (-0.59) 3.02 (-0.55) 8.19 (-0.62)
c0480f 8.87 (+0.47) 6.09 (-0.31) 6.69 (+0.13) 21.66 (+0.04)
4f443c 6.05 (+0.07) 8.80 (+0.42) 5.90 (-0.13) 20.75 (+0.11)
4f443c 5.64 (-0.13) 6.18 (-0.15) 6.79 (+0.11) 18.61 (-0.06)
788823 6.48 (-0.51) 7.31 (-0.50) 6.11 (-0.55) 19.89 (-0.52)
c21104 13.27 (+1.02) 14.53 (+1.30) 13.59 (+0.64) 41.40 (+0.95)
b9544a 6.58 (-0.04) 6.33 (+0.04) 8.30 (+0.31) 21.20 (+0.10)
33834c 6.88 (+0.11) 6.09 (-0.12) 6.32 (+0.07) 19.30 (+0.02)
521667 6.18 (+0.08) 6.92 (+0.14) 5.90 (-0.15) 19.00 (+0.02)
361648 5.70 (-0.09) 6.07 (-0.00) 6.94 (+0.10) 18.71 (+0.00)
fc0629 6.27 6.10 6.28 18.65

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query7]

platform: rds-aurora

revision Q7/1 Q7/2 Q7/3 total_duration
41aa62 77.18 (-0.04) 78.61 (+0.02) 81.32 (+0.13) 237.12 (+0.03)
7b5489 80.30 (-0.05) 77.01 (-0.08) 71.81 (-0.20) 229.13 (-0.11)
a23b07 84.52 (+0.12) 83.29 (+0.11) 89.92 (+0.24) 257.73 (+0.15)
cc2d00 75.65 (+0.03) 75.15 (+0.09) 72.53 (+0.01) 223.33 (+0.04)
ba9df2 73.62 (+0.22) 69.18 (+0.15) 71.61 (+0.21) 214.41 (+0.19)
a8f354 60.28 (+0.03) 60.29 (+0.09) 59.20 (+0.07) 179.77 (+0.06)
7feb0d 58.54 (-0.09) 55.50 (-0.11) 55.58 (-0.13) 169.63 (-0.11)
982fce 64.20 (+0.14) 62.50 (+0.15) 64.11 (+0.16) 190.82 (+0.15)
1f151d 56.42 (+0.01) 54.40 (-0.04) 55.50 (+0.04) 166.32 (+0.00)
ff1a1a 55.75 (-0.15) 56.70 (-0.12) 53.21 (-0.21) 165.65 (-0.16)
b1477b 65.71 (+0.01) 64.52 (-0.04) 66.99 (+0.02) 197.22 (-0.00)
1b947f 65.17 (-0.10) 67.30 (-0.09) 65.69 (-0.05) 198.15 (-0.08)
a21b55 72.10 (-0.07) 74.10 (-0.07) 68.87 (-0.08) 215.07 (-0.07)
4ba950 77.13 (+0.23) 79.49 (+0.24) 74.89 (+0.16) 231.52 (+0.21)
4e359d 62.63 (+0.01) 64.10 (+0.05) 64.59 (+0.04) 191.32 (+0.03)
3837fc 61.78 (+0.03) 61.09 (+0.05) 62.11 (+0.08) 184.97 (+0.05)
edcf4d 59.83 (+0.07) 58.02 (+0.04) 57.76 (+0.07) 175.62 (+0.06)
411c71 55.67 (-0.11) 55.79 (-0.12) 53.99 (-0.11) 165.45 (-0.12)
854348 62.87 (+0.00) 63.27 (+0.03) 60.90 (+0.01) 187.04 (+0.02)
7ba5c2 62.67 (-0.00) 61.28 (+0.02) 60.01 (+0.01) 183.96 (+0.01)
ebea29 62.86 (+0.08) 59.81 (-0.01) 59.30 (-0.01) 181.97 (+0.02)
22c890 58.06 (+0.04) 60.23 (+0.07) 60.18 (+0.04) 178.48 (+0.05)
f0b2e0 55.69 (+0.05) 56.42 (+0.05) 57.68 (+0.11) 169.80 (+0.07)
dec580 53.24 (-0.03) 53.83 (+0.03) 51.88 (-0.04) 158.96 (-0.01)
dec580 54.94 (+0.01) 52.22 (-0.03) 53.78 (+0.01) 160.95 (-0.00)
b1c2a6 54.21 (+0.01) 53.91 (-0.03) 53.12 (+0.00) 161.25 (-0.01)
931094 53.91 (+0.03) 55.37 (+0.07) 53.11 (-0.04) 162.40 (+0.02)
957acb 52.32 (-0.02) 51.81 (-0.00) 55.49 (+0.09) 159.62 (+0.02)
846532 53.22 (-0.02) 52.03 (-0.04) 50.96 (-0.02) 156.21 (-0.03)
d733bc 54.28 (+0.03) 54.47 (-0.03) 52.12 (-0.07) 160.87 (-0.03)
75ffe3 52.83 (+0.01) 56.29 (+0.05) 56.00 (+0.06) 165.12 (+0.04)
75ffe3 52.48 (-0.18) 53.81 (-0.16) 53.00 (-0.20) 159.29 (-0.18)
bf4623 64.06 (-0.02) 63.88 (-0.04) 66.60 (-0.01) 194.54 (-0.02)
b26c83 65.15 (-0.05) 66.72 (+0.01) 67.48 (+0.06) 199.35 (+0.00)
9d714a 68.62 (+0.09) 66.38 (+0.07) 63.92 (-0.02) 198.91 (+0.04)
6efea4 62.89 (-0.03) 62.23 (-0.02) 65.51 (+0.03) 190.63 (-0.01)
4071ff 64.86 (-0.06) 63.78 (-0.04) 63.79 (-0.05) 192.43 (-0.05)
4071ff 69.11 (+0.05) 66.61 (+0.03) 67.19 (+0.06) 202.91 (+0.05)
870ba4 66.03 (-0.00) 64.68 (-0.09) 63.22 (-0.00) 193.93 (-0.03)
f5ca89 66.23 (+0.02) 71.08 (+0.05) 63.51 (-0.01) 200.82 (+0.02)
8bd565 64.94 (-0.01) 68.02 (+0.03) 64.06 (-0.01) 197.02 (+0.00)
dd22c8 65.55 (+0.02) 66.22 (+0.01) 64.39 (-0.05) 196.16 (-0.01)
299db9 64.56 (+0.00) 65.50 (-0.01) 67.49 (+0.07) 197.55 (+0.02)
93f3f4 64.25 (-0.04) 66.08 (-0.02) 63.01 (-0.01) 193.34 (-0.02)
f6e2e0 66.72 (+0.02) 67.33 (-0.00) 63.48 (-0.02) 197.53 (-0.00)
f6e2e0 65.40 (+0.05) 67.62 (+0.02) 64.78 (+0.00) 197.80 (+0.03)
f6e2e0 62.02 (-0.03) 66.27 (-0.01) 64.61 (+0.01) 192.91 (-0.01)
f1d960 64.17 (-0.04) 66.67 (+0.02) 64.03 (-0.02) 194.87 (-0.01)
4a9279 66.79 (+0.03) 65.51 (-0.02) 65.20 (+0.02) 197.50 (+0.01)
2e4bf7 64.89 (-0.02) 66.99 (-0.01) 63.89 (-0.05) 195.77 (-0.03)
ce8fbb 66.46 (+0.00) 67.66 (+0.06) 67.30 (+0.03) 201.42 (+0.03)
ce8fbb 66.25 (-0.00) 63.72 (-0.06) 65.47 (-0.04) 195.44 (-0.04)
ce8fbb 66.44 (-0.01) 67.93 (+0.01) 68.29 (+0.01) 202.66 (+0.00)
d1a0f2 67.00 (+0.05) 67.43 (+0.08) 67.37 (+0.10) 201.80 (+0.07)
ccf92d 64.09 (-0.03) 62.50 (-0.03) 61.51 (-0.03) 188.10 (-0.03)
02b8e0 65.74 (-0.07) 64.71 (-0.02) 63.59 (-0.01) 194.04 (-0.03)
7b9057 70.73 (+0.11) 65.89 (+0.02) 64.11 (+0.03) 200.73 (+0.05)
9cada8 63.53 (+0.02) 64.48 (-0.03) 62.41 (-0.05) 190.42 (-0.02)
9cada8 62.57 (-0.06) 66.78 (+0.01) 65.73 (+0.03) 195.07 (-0.01)
9cada8 66.91 (+0.03) 66.19 (-0.03) 64.01 (-0.02) 197.11 (-0.01)
a60f68 64.71 (+0.00) 67.98 (+0.07) 65.42 (+0.05) 198.11 (+0.04)
d19c52 64.61 (-0.03) 63.42 (-0.03) 62.08 (-0.02) 190.11 (-0.03)
000eb1 66.83 (+0.04) 65.19 (-0.00) 63.20 (-0.07) 195.21 (-0.01)
000eb1 64.48 (+0.03) 65.38 (+0.01) 68.20 (+0.07) 198.07 (+0.04)
f51b48 62.35 (-0.07) 64.46 (-0.01) 63.51 (-0.10) 190.33 (-0.06)
f51b48 66.73 (+0.05) 65.22 (+0.03) 70.49 (+0.13) 202.44 (+0.07)
f51b48 63.27 (-0.04) 63.38 (+0.01) 62.21 (-0.04) 188.86 (-0.03)
9f906f 65.94 (+0.09) 62.92 (+0.05) 65.08 (+0.10) 193.94 (+0.08)
0692ff 60.70 (+0.00) 59.67 (+0.04) 58.92 (+0.03) 179.29 (+0.02)
2caece 60.67 (+0.03) 57.29 (-0.01) 57.09 (+0.01) 175.05 (+0.01)
bc7d3c 58.82 (-0.07) 57.61 (-0.05) 56.43 (-0.04) 172.86 (-0.05)
2153d2 63.08 (+0.05) 60.40 (-0.04) 58.58 (+0.02) 182.07 (+0.01)
2153d2 59.81 (+0.03) 63.00 (+0.07) 57.48 (-0.03) 180.29 (+0.02)
2153d2 58.24 (-0.01) 58.98 (+0.00) 59.10 (+0.01) 176.33 (+0.00)
a1b062 58.77 (+0.01) 58.70 (+0.01) 58.27 (+0.03) 175.74 (+0.02)
1d9d7c 57.93 (-0.04) 57.90 (+0.01) 56.66 (-0.01) 172.49 (-0.01)
3569c1 60.06 (+0.01) 57.05 (-0.06) 57.33 (+0.01) 174.45 (-0.02)
eaff14 59.50 (+0.02) 60.81 (+0.04) 56.92 (+0.03) 177.23 (+0.03)
f383b4 58.47 (-0.02) 58.60 (-0.01) 55.51 (-0.05) 172.58 (-0.03)
f383b4 59.63 (+0.06) 59.07 (-0.02) 58.49 (-0.02) 177.19 (+0.01)
f383b4 56.20 (-0.01) 60.03 (+0.05) 59.40 (+0.03) 175.63 (+0.02)
a4256b 57.04 (-0.03) 57.40 (-0.05) 57.49 (-0.07) 171.93 (-0.05)
371493 58.60 (+0.02) 60.41 (+0.07) 62.01 (+0.11) 181.02 (+0.07)
c5c143 57.55 (+0.00) 56.41 (-0.04) 55.89 (-0.05) 169.86 (-0.03)
58fa4f 57.46 (+0.01) 58.68 (-0.01) 58.61 (+0.02) 174.75 (+0.00)
121d53 57.08 (+0.05) 59.31 (+0.04) 57.67 (-0.00) 174.06 (+0.02)
121d53 54.61 (-0.07) 57.30 (-0.00) 57.93 (+0.06) 169.83 (-0.01)
ec3a3a 58.96 (+0.02) 57.30 (+0.03) 54.77 (-0.00) 171.04 (+0.01)
96e783 58.08 (+0.01) 55.79 (-0.00) 54.99 (+0.01) 168.87 (+0.00)
567b71 57.61 (-0.02) 55.91 (+0.00) 54.70 (+0.01) 168.22 (-0.00)
847fc5 58.91 (+0.01) 55.70 (-0.05) 54.01 (-0.05) 168.62 (-0.03)
5e08b3 58.33 (+0.05) 58.89 (+0.07) 57.00 (+0.05) 174.22 (+0.06)
4d291d 55.67 (-0.00) 54.98 (-0.01) 54.22 (-0.04) 164.87 (-0.02)
4d291d 55.92 (+0.02) 55.52 (+0.02) 56.40 (+0.06) 167.85 (+0.03)
bf63f1 54.80 (-0.01) 54.43 (-0.03) 53.27 (-0.02) 162.50 (-0.02)
0a0958 55.54 (-0.02) 56.03 (+0.01) 54.58 (+0.01) 166.15 (-0.00)
aabca5 56.54 (+0.01) 55.70 (+0.01) 54.31 (-0.03) 166.54 (-0.01)
a4be54 56.06 (+0.09) 55.41 (+0.11) 56.01 (+0.05) 167.48 (+0.08)
a3d7ad 51.43 (-0.03) 49.79 (-0.07) 53.53 (+0.03) 154.76 (-0.02)
a3d7ad 52.97 (+0.01) 53.61 (+0.02) 51.90 (+0.02) 158.48 (+0.02)
8ba169 52.64 (-0.01) 52.48 (+0.01) 50.91 (-0.06) 156.03 (-0.02)
e5cc2f 53.04 (+0.06) 52.08 (+0.04) 54.30 (+0.07) 159.42 (+0.05)
c6b56d 50.25 (-0.02) 49.98 (-0.04) 50.90 (-0.03) 151.13 (-0.03)
e067cd 51.25 (+0.01) 52.23 (-0.01) 52.58 (-0.02) 156.06 (-0.01)
bce423 50.83 (-0.02) 52.88 (-0.01) 53.91 (-0.00) 157.61 (-0.01)
bce423 52.02 (+0.05) 53.41 (+0.06) 54.10 (+0.06) 159.53 (+0.06)
c28bfd 49.63 (-0.04) 50.49 (-0.04) 50.92 (-0.04) 151.04 (-0.04)
95bf19 51.96 (+0.03) 52.61 (-0.02) 52.89 (-0.03) 157.46 (-0.01)
95bf19 50.37 (+0.00) 53.80 (+0.04) 54.41 (+0.07) 158.59 (+0.04)
080752 50.31 (-0.03) 51.90 (-0.01) 50.71 (-0.01) 152.92 (-0.02)
23d5e2 51.85 (+0.06) 52.60 (+0.06) 51.18 (-0.01) 155.64 (+0.03)
23d5e2 49.14 (-0.01) 49.52 (-0.01) 51.88 (-0.02) 150.54 (-0.01)
8b710b 49.87 (-0.03) 49.79 (-0.02) 52.70 (+0.01) 152.36 (-0.01)
8c6e60 51.44 (+0.02) 50.59 (+0.02) 52.02 (+0.08) 154.07 (+0.04)
10dae7 50.67 (-0.03) 49.39 (-0.02) 48.19 (-0.05) 148.25 (-0.03)
4c4d3d 52.13 (+0.07) 50.51 (-0.02) 50.90 (-0.02) 153.54 (+0.01)
9f94d0 48.63 (-0.01) 51.39 (-0.02) 52.10 (+0.06) 152.11 (+0.01)
9f94d0 49.33 (+0.06) 52.20 (+0.08) 49.21 (+0.04) 150.74 (+0.06)
9f94d0 46.56 (-0.01) 48.39 (-0.01) 47.21 (+0.00) 142.16 (-0.01)
c700c7 47.04 (-0.01) 48.99 (+0.02) 47.19 (+0.04) 143.22 (+0.02)
42c6dd 47.44 (-0.05) 47.82 (+0.01) 45.59 (-0.07) 140.85 (-0.04)
f6bf7b 50.04 (+0.04) 47.52 (-0.00) 48.97 (+0.01) 146.54 (+0.02)
1137b5 47.97 (+0.04) 47.59 (-0.03) 48.59 (+0.02) 144.16 (+0.01)
1468c6 46.02 (-0.01) 48.99 (+0.06) 47.62 (+0.04) 142.64 (+0.03)
1468c6 46.35 (-0.01) 46.37 (-0.02) 45.93 (-0.01) 138.65 (-0.02)
c01f92 47.03 (+0.02) 47.53 (+0.05) 46.27 (-0.09) 140.83 (-0.01)
7ff591 45.96 (-0.04) 45.27 (-0.02) 50.79 (+0.07) 142.03 (+0.00)
5d4774 47.83 (-0.10) 46.41 (-0.12) 47.41 (-0.09) 141.66 (-0.11)
56d8c2 53.07 (-0.01) 53.01 (-0.04) 52.20 (+0.02) 158.28 (-0.01)
12e6f4 53.66 (-0.02) 55.02 (+0.01) 51.10 (-0.08) 159.77 (-0.03)
12e6f4 54.66 (-0.00) 54.41 (+0.01) 55.50 (+0.06) 164.56 (+0.02)
61194a 54.77 (-0.13) 53.80 (-0.11) 52.21 (-0.12) 160.79 (-0.12)
70ce01 63.23 (+0.06) 60.69 (+0.01) 59.40 (-0.01) 183.33 (+0.02)
c04c20 59.85 (-0.04) 59.83 (+0.00) 60.07 (+0.02) 179.76 (-0.01)
827ee1 62.34 (-0.01) 59.80 (-0.03) 59.02 (-0.02) 181.15 (-0.02)
22ae67 63.04 (+0.04) 61.48 (-0.02) 60.10 (+0.04) 184.63 (+0.02)
0f4458 60.60 (+0.02) 62.92 (+0.07) 57.81 (-0.00) 181.33 (+0.03)
0f4458 59.48 (-0.03) 58.57 (+0.01) 57.99 (-0.01) 176.05 (-0.01)
0f4458 61.04 (+0.03) 58.20 (-0.02) 58.70 (+0.01) 177.93 (+0.01)
b8a566 59.00 (-0.08) 59.51 (-0.04) 57.91 (-0.03) 176.43 (-0.05)
b8a566 64.04 (+0.02) 62.02 (+0.03) 59.40 (+0.03) 185.47 (+0.03)
9747e9 62.58 (+0.06) 60.08 (+0.03) 57.42 (+0.04) 180.08 (+0.04)
b50e07 59.00 (+0.08) 58.38 (+0.07) 55.41 (+0.02) 172.78 (+0.06)
6a57d5 54.83 (-0.05) 54.59 (-0.08) 54.30 (-0.04) 163.73 (-0.06)
c0480f 57.54 (-0.02) 59.49 (+0.01) 56.40 (-0.01) 173.44 (-0.01)
4f443c 58.71 (+0.02) 59.06 (-0.00) 57.13 (-0.02) 174.91 (-0.00)
4f443c 57.50 (-0.03) 59.21 (+0.04) 58.51 (+0.04) 175.22 (+0.02)
788823 59.29 (-0.31) 56.80 (-0.29) 56.50 (-0.28) 172.58 (-0.29)
c21104 85.40 (+0.41) 80.39 (+0.32) 78.33 (+0.30) 244.12 (+0.34)
b9544a 60.40 (-0.02) 61.07 (+0.02) 60.42 (+0.02) 181.89 (+0.01)
33834c 61.72 (+0.10) 60.01 (+0.06) 59.11 (+0.06) 180.84 (+0.08)
521667 56.16 (+0.00) 56.40 (-0.02) 55.60 (-0.01) 168.16 (-0.01)
361648 56.10 (-0.03) 57.41 (-0.01) 55.98 (-0.02) 169.49 (-0.02)
fc0629 58.11 58.01 56.87 173.00

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query8]

platform: rds-aurora

revision Q8/1 Q8/2 Q8/3 total_duration
41aa62 82.03 (-0.01) 82.63 (+0.01) 82.40 (+0.06) 247.06 (+0.02)
7b5489 83.14 (-0.10) 82.13 (-0.07) 77.89 (-0.18) 243.17 (-0.12)
a23b07 92.50 (+0.06) 88.29 (+0.09) 94.81 (+0.18) 275.60 (+0.11)
cc2d00 86.94 (+0.10) 81.22 (+0.05) 80.17 (+0.06) 248.33 (+0.07)
ba9df2 79.23 (+0.22) 77.11 (+0.14) 75.75 (+0.18) 232.10 (+0.18)
a8f354 65.00 (+0.08) 67.47 (+0.11) 64.02 (+0.07) 196.49 (+0.09)
7feb0d 59.97 (-0.11) 60.88 (-0.13) 59.74 (-0.12) 180.59 (-0.12)
982fce 67.13 (+0.11) 70.13 (+0.14) 67.98 (+0.09) 205.24 (+0.11)
1f151d 60.74 (+0.06) 61.64 (+0.03) 62.63 (+0.08) 185.01 (+0.06)
ff1a1a 57.46 (-0.19) 59.74 (-0.16) 58.01 (-0.17) 175.21 (-0.17)
b1477b 70.84 (-0.03) 71.30 (+0.00) 69.86 (-0.04) 212.00 (-0.02)
1b947f 72.97 (-0.03) 71.21 (-0.07) 72.88 (-0.09) 217.06 (-0.07)
a21b55 75.61 (-0.02) 76.79 (-0.04) 79.79 (+0.06) 232.19 (-0.00)
4ba950 77.31 (+0.12) 80.01 (+0.18) 75.43 (+0.05) 232.75 (+0.11)
4e359d 69.07 (+0.01) 68.01 (-0.04) 71.67 (+0.05) 208.76 (+0.01)
3837fc 68.23 (+0.10) 70.76 (+0.16) 68.01 (+0.08) 207.00 (+0.11)
edcf4d 62.01 (+0.05) 61.07 (+0.02) 63.02 (+0.04) 186.09 (+0.03)
411c71 59.30 (-0.12) 60.15 (-0.12) 60.83 (-0.06) 180.28 (-0.10)
854348 67.28 (+0.05) 68.11 (+0.04) 64.45 (-0.08) 199.85 (+0.00)
7ba5c2 64.21 (-0.00) 65.22 (+0.03) 69.87 (+0.09) 199.30 (+0.04)
ebea29 64.36 (+0.01) 63.62 (-0.02) 64.27 (-0.00) 192.25 (-0.01)
22c890 63.71 (+0.04) 65.18 (+0.04) 64.33 (+0.04) 193.22 (+0.04)
f0b2e0 60.97 (+0.02) 62.97 (+0.11) 62.12 (+0.06) 186.06 (+0.06)
dec580 59.67 (+0.02) 56.71 (-0.03) 58.80 (+0.03) 175.18 (+0.00)
dec580 58.31 (-0.02) 58.76 (-0.02) 57.32 (-0.04) 174.38 (-0.03)
b1c2a6 59.47 (-0.01) 60.06 (+0.00) 59.81 (+0.02) 179.35 (+0.00)
931094 60.11 (+0.01) 59.93 (+0.00) 58.69 (+0.00) 178.74 (+0.01)
957acb 59.28 (+0.01) 59.89 (+0.02) 58.43 (+0.02) 177.60 (+0.02)
846532 58.52 (+0.02) 59.00 (+0.03) 57.19 (-0.03) 174.71 (+0.01)
d733bc 57.35 (-0.04) 57.11 (-0.02) 58.97 (+0.00) 173.43 (-0.02)
75ffe3 59.69 (+0.03) 58.00 (+0.01) 58.79 (+0.02) 176.47 (+0.02)
75ffe3 57.72 (-0.21) 57.62 (-0.17) 57.70 (-0.18) 173.04 (-0.19)
bf4623 73.12 (-0.00) 69.03 (-0.06) 70.69 (-0.05) 212.83 (-0.04)
b26c83 73.16 (+0.06) 73.69 (+0.00) 74.04 (+0.02) 220.89 (+0.02)
9d714a 69.34 (-0.08) 73.65 (+0.05) 72.78 (+0.04) 215.77 (-0.00)
6efea4 75.70 (+0.06) 69.84 (-0.07) 70.30 (-0.01) 215.84 (-0.01)
4071ff 71.75 (-0.05) 74.91 (+0.00) 70.82 (-0.02) 217.48 (-0.02)
4071ff 75.48 (+0.00) 74.84 (+0.05) 72.29 (+0.01) 222.62 (+0.02)
870ba4 75.44 (+0.03) 71.39 (-0.07) 71.89 (-0.03) 218.73 (-0.02)
f5ca89 73.04 (+0.03) 77.13 (+0.05) 73.85 (-0.01) 224.03 (+0.02)
8bd565 70.85 (-0.01) 73.79 (+0.02) 74.44 (+0.05) 219.09 (+0.02)
dd22c8 71.77 (+0.00) 72.54 (+0.02) 70.74 (-0.05) 215.05 (-0.01)
299db9 71.71 (+0.00) 71.19 (+0.03) 74.80 (+0.06) 217.70 (+0.03)
93f3f4 71.68 (-0.02) 69.08 (-0.04) 70.60 (-0.06) 211.36 (-0.04)
f6e2e0 73.26 (+0.00) 72.31 (+0.02) 75.49 (+0.03) 221.06 (+0.02)
f6e2e0 73.11 (+0.05) 70.59 (-0.03) 73.56 (+0.01) 217.26 (+0.01)
f6e2e0 69.95 (-0.02) 72.40 (+0.02) 73.06 (-0.02) 215.42 (-0.01)
f1d960 71.45 (-0.06) 71.15 (-0.07) 74.62 (-0.03) 217.22 (-0.05)
4a9279 75.72 (+0.04) 76.29 (+0.09) 77.26 (+0.06) 229.26 (+0.06)
2e4bf7 72.93 (+0.01) 70.00 (-0.06) 73.03 (-0.06) 215.96 (-0.04)
ce8fbb 72.32 (-0.01) 74.12 (+0.01) 77.92 (-0.00) 224.36 (-0.00)
ce8fbb 73.11 (+0.01) 73.09 (-0.06) 78.20 (+0.05) 224.41 (-0.00)
ce8fbb 72.45 (-0.02) 77.36 (+0.05) 74.60 (+0.06) 224.41 (+0.03)
d1a0f2 73.78 (+0.02) 73.62 (+0.05) 70.06 (-0.03) 217.46 (+0.02)
ccf92d 72.05 (+0.02) 69.81 (-0.02) 72.21 (+0.04) 214.08 (+0.01)
02b8e0 70.54 (-0.02) 71.43 (-0.02) 69.26 (-0.05) 211.23 (-0.03)
7b9057 71.98 (+0.02) 72.87 (+0.01) 73.02 (+0.03) 217.88 (+0.02)
9cada8 70.63 (+0.01) 72.40 (+0.04) 70.84 (-0.01) 213.87 (+0.01)
9cada8 69.81 (-0.03) 69.75 (-0.01) 71.78 (+0.02) 211.35 (-0.01)
9cada8 72.22 (+0.02) 70.63 (-0.01) 70.58 (-0.03) 213.44 (-0.01)
a60f68 70.88 (-0.03) 71.60 (-0.02) 73.13 (-0.01) 215.61 (-0.02)
d19c52 72.97 (-0.00) 73.21 (-0.01) 73.81 (-0.05) 219.99 (-0.02)
000eb1 73.20 (-0.05) 73.86 (+0.01) 78.10 (+0.10) 225.17 (+0.02)
000eb1 76.86 (+0.06) 73.00 (+0.06) 71.24 (+0.02) 221.10 (+0.05)
f51b48 72.27 (-0.05) 68.89 (-0.08) 69.70 (-0.04) 210.86 (-0.06)
f51b48 76.20 (+0.02) 74.82 (+0.00) 72.71 (+0.01) 223.73 (+0.01)
f51b48 74.48 (+0.02) 74.57 (+0.00) 71.93 (+0.03) 220.97 (+0.02)
9f906f 73.02 (+0.12) 74.31 (+0.16) 70.09 (+0.03) 217.43 (+0.10)
0692ff 64.95 (+0.01) 64.24 (-0.03) 67.89 (+0.06) 197.08 (+0.01)
2caece 64.60 (-0.02) 66.38 (+0.03) 63.84 (-0.03) 194.82 (-0.01)
bc7d3c 66.19 (-0.01) 64.53 (-0.04) 65.77 (-0.02) 196.50 (-0.03)
2153d2 67.14 (-0.00) 67.31 (+0.03) 67.19 (-0.01) 201.64 (+0.01)
2153d2 67.36 (-0.01) 65.08 (-0.01) 67.95 (+0.05) 200.38 (+0.01)
2153d2 68.36 (+0.04) 65.52 (-0.01) 64.67 (-0.07) 198.55 (-0.01)
a1b062 65.76 (+0.03) 66.00 (+0.06) 69.51 (+0.08) 201.28 (+0.06)
1d9d7c 63.66 (-0.02) 62.15 (-0.08) 64.51 (+0.01) 190.32 (-0.03)
3569c1 65.29 (-0.03) 67.78 (+0.06) 64.11 (-0.03) 197.18 (-0.00)
eaff14 67.37 (+0.08) 63.90 (+0.02) 65.98 (+0.00) 197.26 (+0.03)
f383b4 62.42 (-0.02) 62.93 (-0.02) 65.83 (-0.00) 191.18 (-0.02)
f383b4 63.69 (-0.03) 64.47 (+0.03) 66.11 (+0.05) 194.26 (+0.01)
f383b4 65.72 (+0.01) 62.71 (-0.06) 63.02 (+0.01) 191.45 (-0.02)
a4256b 65.25 (-0.04) 66.72 (+0.04) 62.47 (-0.02) 194.45 (-0.01)
371493 67.89 (+0.08) 63.94 (-0.01) 64.05 (+0.03) 195.89 (+0.03)
c5c143 62.70 (-0.04) 64.65 (-0.01) 62.06 (-0.02) 189.41 (-0.02)
58fa4f 65.19 (+0.02) 64.98 (-0.01) 63.38 (-0.05) 193.56 (-0.01)
121d53 64.19 (+0.01) 65.48 (-0.01) 66.79 (+0.08) 196.45 (+0.02)
121d53 63.54 (-0.00) 66.29 (+0.05) 61.91 (-0.05) 191.74 (-0.00)
ec3a3a 63.65 (-0.06) 63.35 (-0.01) 65.40 (+0.04) 192.40 (-0.01)
96e783 67.73 (+0.10) 63.84 (+0.03) 63.09 (-0.00) 194.67 (+0.04)
567b71 61.85 (-0.02) 61.91 (-0.03) 63.11 (-0.01) 186.87 (-0.02)
847fc5 63.24 (+0.01) 63.99 (+0.02) 63.83 (-0.00) 191.07 (+0.01)
5e08b3 62.65 (-0.03) 62.87 (+0.00) 64.01 (+0.04) 189.53 (+0.01)
4d291d 64.45 (+0.02) 62.58 (+0.01) 61.31 (-0.00) 188.34 (+0.01)
4d291d 63.48 (+0.07) 61.86 (+0.01) 61.56 (-0.02) 186.91 (+0.02)
bf63f1 59.45 (-0.05) 61.20 (-0.01) 62.79 (+0.04) 183.45 (-0.01)
0a0958 62.41 (-0.00) 61.84 (-0.02) 60.26 (-0.01) 184.51 (-0.01)
aabca5 62.65 (-0.03) 62.91 (+0.01) 60.88 (-0.00) 186.45 (-0.01)
a4be54 64.86 (+0.10) 62.12 (+0.07) 61.16 (+0.06) 188.14 (+0.08)
a3d7ad 59.04 (+0.01) 58.11 (-0.03) 57.79 (-0.04) 174.95 (-0.02)
a3d7ad 58.74 (-0.03) 59.71 (+0.07) 60.02 (+0.03) 178.47 (+0.02)
8ba169 60.60 (-0.01) 55.99 (-0.05) 58.23 (+0.03) 174.83 (-0.01)
e5cc2f 61.50 (+0.07) 59.12 (+0.02) 56.36 (-0.05) 176.98 (+0.01)
c6b56d 57.35 (-0.02) 57.86 (+0.02) 59.33 (+0.02) 174.55 (+0.01)
e067cd 58.68 (+0.01) 56.75 (-0.02) 58.17 (+0.02) 173.60 (+0.00)
bce423 58.07 (+0.00) 58.00 (+0.02) 56.91 (-0.02) 172.98 (-0.00)
bce423 57.99 (+0.01) 56.99 (-0.01) 58.29 (-0.00) 173.27 (+0.00)
c28bfd 57.43 (-0.02) 57.31 (-0.02) 58.30 (+0.01) 173.04 (-0.01)
95bf19 58.44 (+0.00) 58.61 (+0.03) 57.99 (+0.01) 175.04 (+0.01)
95bf19 58.24 (+0.02) 56.99 (-0.03) 57.41 (-0.03) 172.65 (-0.01)
080752 57.17 (+0.01) 58.62 (+0.02) 58.89 (+0.03) 174.68 (+0.02)
23d5e2 56.85 (+0.00) 57.42 (+0.04) 56.95 (+0.03) 171.22 (+0.02)
23d5e2 56.77 (-0.02) 55.43 (-0.04) 55.37 (-0.03) 167.57 (-0.03)
8b710b 58.01 (+0.03) 57.76 (+0.02) 57.11 (+0.02) 172.88 (+0.02)
8c6e60 56.55 (+0.00) 56.41 (-0.02) 55.88 (-0.01) 168.83 (-0.01)
10dae7 56.48 (-0.01) 57.83 (+0.02) 56.27 (-0.01) 170.58 (-0.00)
4c4d3d 56.96 (-0.01) 56.78 (+0.01) 56.84 (+0.00) 170.58 (+0.00)
9f94d0 57.70 (+0.08) 55.99 (+0.00) 56.78 (+0.01) 170.47 (+0.03)
9f94d0 53.56 (+0.03) 55.89 (+0.03) 56.30 (+0.03) 165.75 (+0.03)
9f94d0 51.91 (-0.00) 54.20 (+0.01) 54.81 (+0.00) 160.92 (+0.00)
c700c7 52.06 (-0.01) 53.61 (+0.02) 54.55 (+0.00) 160.23 (+0.00)
42c6dd 52.68 (-0.01) 52.49 (-0.00) 54.30 (+0.01) 159.47 (-0.00)
f6bf7b 53.37 (+0.04) 52.50 (-0.01) 53.91 (+0.01) 159.78 (+0.01)
1137b5 51.42 (-0.03) 52.92 (+0.00) 53.32 (+0.02) 157.67 (-0.00)
1468c6 53.20 (+0.03) 52.83 (+0.02) 52.23 (+0.01) 158.26 (+0.02)
1468c6 51.68 (-0.02) 51.88 (-0.06) 51.81 (-0.04) 155.38 (-0.04)
c01f92 52.60 (-0.02) 55.20 (+0.07) 53.81 (+0.02) 161.60 (+0.02)
7ff591 53.60 (+0.03) 51.51 (+0.04) 52.81 (-0.08) 157.92 (-0.01)
5d4774 51.86 (-0.14) 49.68 (-0.15) 57.39 (-0.05) 158.94 (-0.11)
56d8c2 60.53 (+0.03) 58.73 (-0.00) 60.27 (+0.03) 179.53 (+0.02)
12e6f4 58.73 (-0.01) 58.86 (-0.01) 58.25 (+0.01) 175.85 (-0.00)
12e6f4 59.27 (+0.03) 59.24 (-0.02) 57.87 (+0.02) 176.38 (+0.01)
61194a 57.68 (-0.12) 60.30 (-0.10) 56.94 (-0.17) 174.92 (-0.13)
70ce01 65.46 (-0.04) 66.78 (-0.01) 68.80 (+0.01) 201.05 (-0.01)
c04c20 67.96 (+0.02) 67.14 (-0.00) 68.44 (+0.01) 203.54 (+0.01)
827ee1 66.53 (+0.02) 67.36 (+0.01) 67.87 (+0.00) 201.76 (+0.01)
22ae67 65.12 (-0.02) 66.53 (+0.02) 67.66 (+0.04) 199.31 (+0.01)
0f4458 66.11 (+0.04) 65.52 (-0.02) 65.09 (+0.00) 196.72 (+0.01)
0f4458 63.82 (-0.02) 66.79 (-0.01) 64.83 (-0.00) 195.44 (-0.01)
0f4458 64.97 (-0.05) 67.20 (-0.01) 65.04 (-0.03) 197.21 (-0.03)
b8a566 68.69 (+0.02) 67.54 (-0.04) 67.35 (-0.01) 203.58 (-0.01)
b8a566 67.44 (+0.02) 70.08 (+0.07) 67.72 (+0.03) 205.25 (+0.04)
9747e9 66.07 (+0.01) 65.49 (+0.01) 65.84 (+0.03) 197.39 (+0.01)
b50e07 65.58 (+0.08) 65.00 (+0.06) 64.13 (+0.05) 194.72 (+0.07)
6a57d5 60.49 (-0.04) 61.21 (-0.04) 60.95 (-0.04) 182.66 (-0.04)
c0480f 62.93 (+0.00) 63.76 (-0.02) 63.63 (-0.00) 190.32 (-0.01)
4f443c 62.81 (-0.04) 65.22 (+0.00) 63.64 (+0.00) 191.67 (-0.01)
4f443c 65.53 (+0.04) 65.07 (+0.01) 63.35 (-0.01) 193.95 (+0.01)
788823 62.88 (-0.54) 64.26 (-0.52) 64.24 (-0.53) 191.38 (-0.53)
c21104 137.73 (+1.08) 132.90 (+1.00) 137.59 (+1.00) 408.22 (+1.03)
b9544a 66.08 (-0.02) 66.49 (-0.06) 68.70 (+0.00) 201.27 (-0.03)
33834c 67.21 (+0.02) 70.84 (+0.12) 68.52 (+0.10) 206.57 (+0.08)
521667 65.68 (+0.07) 63.16 (+0.03) 62.29 (+0.00) 191.14 (+0.03)
361648 61.51 (-0.01) 61.32 (-0.01) 62.19 (-0.01) 185.02 (-0.01)
fc0629 62.25 62.17 62.94 187.35

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query9]

platform: rds-aurora

revision Q9/1 Q9/2 Q9/3 total_duration
41aa62 90.53 (+0.01) 86.12 (-0.03) 90.68 (+0.01) 267.33 (-0.00)
7b5489 90.07 (-0.08) 88.79 (-0.07) 89.78 (-0.10) 268.64 (-0.08)
a23b07 98.40 (+0.13) 95.31 (+0.06) 99.59 (+0.12) 293.30 (+0.10)
cc2d00 87.19 (+0.03) 89.97 (+0.09) 89.11 (+0.08) 266.27 (+0.06)
ba9df2 84.78 (+0.17) 82.84 (+0.16) 82.45 (+0.13) 250.06 (+0.15)
a8f354 72.44 (+0.10) 71.63 (+0.07) 72.84 (+0.11) 216.92 (+0.09)
7feb0d 66.10 (-0.13) 66.70 (-0.10) 65.73 (-0.12) 198.54 (-0.12)
982fce 76.35 (+0.11) 74.46 (+0.12) 74.40 (+0.11) 225.21 (+0.11)
1f151d 69.04 (+0.05) 66.41 (+0.07) 66.76 (+0.07) 202.22 (+0.06)
ff1a1a 65.83 (-0.20) 61.83 (-0.19) 62.27 (-0.19) 189.92 (-0.19)
b1477b 82.59 (+0.02) 76.11 (-0.01) 77.05 (+0.00) 235.76 (+0.01)
1b947f 80.80 (-0.02) 76.71 (-0.03) 76.69 (-0.10) 234.20 (-0.05)
a21b55 82.52 (-0.01) 79.32 (-0.06) 85.57 (+0.02) 247.41 (-0.02)
4ba950 82.94 (+0.10) 84.77 (+0.11) 84.13 (+0.14) 251.84 (+0.12)
4e359d 75.35 (+0.07) 76.17 (-0.00) 73.94 (+0.01) 225.47 (+0.03)
3837fc 70.47 (+0.08) 76.19 (+0.19) 73.20 (+0.13) 219.87 (+0.13)
edcf4d 65.25 (+0.04) 64.28 (-0.04) 64.89 (-0.04) 194.42 (-0.01)
411c71 62.72 (-0.10) 66.62 (-0.12) 67.49 (-0.06) 196.83 (-0.09)
854348 69.70 (-0.02) 75.37 (+0.06) 71.61 (+0.04) 216.69 (+0.03)
7ba5c2 71.39 (-0.01) 70.82 (-0.02) 69.14 (-0.06) 211.35 (-0.03)
ebea29 71.81 (+0.01) 72.43 (+0.01) 73.67 (+0.06) 217.91 (+0.02)
22c890 71.32 (+0.09) 71.92 (+0.05) 69.79 (+0.02) 213.04 (+0.05)
f0b2e0 65.73 (+0.05) 68.20 (+0.08) 68.50 (+0.09) 202.43 (+0.07)
dec580 62.71 (+0.03) 63.21 (+0.02) 62.88 (+0.02) 188.80 (+0.02)
dec580 60.95 (-0.05) 62.21 (-0.03) 61.89 (-0.07) 185.05 (-0.05)
b1c2a6 63.84 (+0.02) 63.99 (+0.03) 66.31 (+0.06) 194.14 (+0.04)
931094 62.85 (-0.03) 61.94 (-0.02) 62.69 (-0.03) 187.47 (-0.03)
957acb 64.54 (+0.03) 63.41 (+0.03) 64.37 (+0.05) 192.33 (+0.04)
846532 62.56 (-0.01) 61.70 (-0.02) 61.50 (-0.00) 185.77 (-0.01)
d733bc 63.05 (-0.00) 62.71 (-0.02) 61.75 (-0.06) 187.51 (-0.03)
75ffe3 63.31 (+0.00) 64.16 (+0.07) 65.56 (+0.04) 193.03 (+0.04)
75ffe3 63.04 (-0.20) 59.92 (-0.26) 62.87 (-0.20) 185.83 (-0.22)
bf4623 78.80 (-0.03) 80.50 (-0.01) 78.11 (-0.02) 237.42 (-0.02)
b26c83 81.35 (+0.05) 81.70 (+0.07) 79.39 (+0.03) 242.44 (+0.05)
9d714a 77.68 (-0.01) 76.70 (-0.06) 77.07 (+0.02) 231.45 (-0.02)
6efea4 78.48 (+0.03) 81.63 (+0.05) 75.41 (-0.06) 235.52 (+0.01)
4071ff 75.97 (-0.05) 77.46 (-0.07) 80.06 (+0.02) 233.49 (-0.03)
4071ff 80.27 (+0.06) 83.03 (+0.04) 78.54 (-0.00) 241.84 (+0.03)
870ba4 75.60 (-0.06) 80.13 (-0.01) 78.87 (+0.01) 234.61 (-0.02)
f5ca89 80.47 (+0.01) 80.98 (+0.03) 78.43 (-0.02) 239.88 (+0.01)
8bd565 79.54 (-0.02) 78.38 (-0.01) 80.04 (+0.06) 237.96 (+0.01)
dd22c8 80.81 (-0.00) 79.32 (+0.04) 75.73 (-0.02) 235.86 (+0.01)
299db9 81.08 (-0.00) 76.02 (-0.04) 77.08 (+0.06) 234.18 (+0.00)
93f3f4 81.16 (+0.07) 78.99 (+0.02) 72.98 (-0.04) 233.13 (+0.01)
f6e2e0 76.05 (-0.04) 77.58 (-0.03) 76.19 (-0.02) 229.82 (-0.03)
f6e2e0 79.52 (-0.00) 79.71 (+0.02) 77.74 (+0.04) 236.97 (+0.02)
f6e2e0 79.84 (+0.04) 78.19 (+0.01) 74.69 (-0.07) 232.72 (-0.01)
f1d960 77.05 (-0.04) 77.76 (-0.00) 80.62 (-0.00) 235.43 (-0.02)
4a9279 80.60 (-0.02) 77.83 (-0.01) 80.68 (+0.06) 239.12 (+0.01)
2e4bf7 81.86 (-0.01) 79.01 (-0.00) 75.89 (-0.06) 236.76 (-0.02)
ce8fbb 82.76 (+0.06) 79.07 (+0.00) 80.84 (-0.03) 242.67 (+0.01)
ce8fbb 78.14 (-0.03) 78.69 (-0.07) 83.09 (+0.03) 239.92 (-0.03)
ce8fbb 80.25 (-0.01) 84.92 (+0.08) 81.00 (+0.07) 246.17 (+0.05)
d1a0f2 80.93 (+0.04) 78.28 (+0.01) 76.00 (+0.02) 235.21 (+0.02)
ccf92d 78.09 (+0.01) 77.19 (-0.01) 74.82 (-0.04) 230.10 (-0.02)
02b8e0 77.59 (+0.01) 77.77 (+0.04) 78.30 (-0.05) 233.67 (-0.00)
7b9057 77.01 (-0.04) 74.79 (+0.01) 82.02 (+0.08) 233.82 (+0.01)
9cada8 80.32 (+0.01) 74.02 (-0.06) 76.10 (-0.02) 230.44 (-0.02)
9cada8 79.23 (+0.01) 78.61 (+0.04) 77.94 (-0.03) 235.78 (+0.01)
9cada8 78.16 (-0.04) 75.58 (-0.01) 80.42 (+0.01) 234.17 (-0.01)
a60f68 81.20 (+0.05) 76.64 (-0.03) 79.90 (-0.02) 237.74 (-0.00)
d19c52 77.22 (-0.01) 79.13 (+0.03) 81.78 (-0.03) 238.14 (-0.00)
000eb1 78.17 (-0.06) 76.51 (-0.04) 84.07 (+0.08) 238.75 (-0.01)
000eb1 83.10 (+0.05) 79.92 (+0.02) 78.07 (+0.05) 241.10 (+0.04)
f51b48 78.90 (-0.04) 78.50 (+0.01) 74.44 (-0.07) 231.84 (-0.03)
f51b48 82.02 (+0.07) 77.51 (-0.09) 79.79 (+0.02) 239.33 (-0.00)
f51b48 76.42 (+0.01) 85.20 (+0.10) 78.19 (-0.04) 239.81 (+0.02)
9f906f 75.34 (+0.01) 77.30 (+0.11) 81.36 (+0.16) 234.01 (+0.09)
0692ff 74.57 (+0.06) 69.67 (+0.03) 69.89 (-0.00) 214.13 (+0.03)
2caece 70.04 (-0.03) 67.66 (-0.04) 69.90 (-0.01) 207.60 (-0.03)
bc7d3c 72.16 (+0.02) 70.72 (-0.01) 70.77 (-0.04) 213.65 (-0.01)
2153d2 71.04 (-0.05) 71.51 (-0.01) 73.63 (+0.05) 216.17 (-0.01)
2153d2 74.58 (+0.05) 72.54 (+0.02) 70.17 (-0.06) 217.28 (+0.00)
2153d2 70.76 (+0.01) 70.93 (-0.02) 74.57 (+0.04) 216.27 (+0.01)
a1b062 70.04 (+0.01) 72.31 (+0.02) 71.81 (+0.04) 214.16 (+0.03)
1d9d7c 69.05 (-0.04) 70.74 (+0.01) 68.96 (-0.07) 208.76 (-0.03)
3569c1 72.10 (+0.01) 69.83 (-0.02) 73.78 (+0.08) 215.72 (+0.02)
eaff14 71.65 (-0.03) 71.58 (+0.03) 68.31 (-0.05) 211.55 (-0.01)
f383b4 73.62 (-0.01) 69.39 (-0.02) 71.73 (+0.03) 214.74 (+0.00)
f383b4 74.25 (+0.05) 70.70 (+0.05) 69.62 (-0.01) 214.58 (+0.03)
f383b4 70.45 (+0.02) 67.61 (-0.03) 70.40 (-0.00) 208.47 (-0.01)
a4256b 69.40 (-0.01) 69.79 (-0.04) 70.67 (-0.01) 209.86 (-0.02)
371493 69.78 (+0.02) 72.54 (+0.06) 71.05 (+0.04) 213.36 (+0.04)
c5c143 68.72 (-0.04) 68.70 (-0.04) 68.60 (-0.00) 206.02 (-0.03)
58fa4f 71.26 (+0.02) 71.50 (+0.03) 68.81 (-0.07) 211.56 (-0.01)
121d53 69.89 (+0.00) 69.62 (-0.02) 73.78 (+0.01) 213.29 (-0.00)
121d53 69.87 (+0.04) 70.70 (+0.04) 72.88 (+0.06) 213.45 (+0.05)
ec3a3a 67.27 (-0.02) 68.00 (-0.03) 68.48 (-0.02) 203.76 (-0.02)
96e783 68.64 (+0.02) 70.29 (+0.04) 69.62 (+0.04) 208.56 (+0.04)
567b71 67.17 (-0.01) 67.39 (-0.00) 66.92 (-0.02) 201.48 (-0.01)
847fc5 67.72 (-0.04) 67.51 (-0.02) 68.01 (-0.01) 203.24 (-0.02)
5e08b3 70.38 (+0.04) 69.01 (+0.01) 68.99 (+0.03) 208.38 (+0.02)
4d291d 67.78 (+0.01) 68.28 (+0.02) 67.28 (-0.02) 203.35 (+0.00)
4d291d 67.43 (+0.04) 66.96 (+0.04) 68.67 (+0.03) 203.06 (+0.04)
bf63f1 64.69 (-0.02) 64.39 (-0.07) 66.80 (+0.00) 195.88 (-0.03)
0a0958 66.19 (+0.01) 69.50 (+0.05) 66.72 (-0.06) 202.41 (+0.00)
aabca5 65.37 (-0.02) 65.97 (-0.01) 70.86 (+0.03) 202.21 (+0.00)
a4be54 66.77 (+0.06) 66.59 (+0.04) 68.60 (+0.06) 201.96 (+0.05)
a3d7ad 62.76 (-0.03) 64.16 (+0.01) 65.00 (+0.04) 191.93 (+0.00)
a3d7ad 65.03 (+0.03) 63.63 (+0.01) 62.39 (-0.01) 191.06 (+0.01)
8ba169 63.33 (+0.01) 62.93 (-0.00) 63.12 (+0.01) 189.38 (+0.00)
e5cc2f 62.46 (+0.00) 63.21 (+0.04) 62.80 (+0.04) 188.46 (+0.03)
c6b56d 62.15 (-0.02) 60.61 (-0.02) 60.51 (-0.01) 183.28 (-0.02)
e067cd 63.12 (+0.01) 61.98 (-0.02) 61.13 (-0.02) 186.24 (-0.01)
bce423 62.55 (-0.04) 63.25 (-0.02) 62.18 (+0.00) 187.97 (-0.02)
bce423 65.35 (+0.06) 64.77 (+0.04) 62.16 (+0.01) 192.27 (+0.04)
c28bfd 61.54 (-0.04) 62.52 (+0.01) 61.51 (+0.00) 185.58 (-0.01)
95bf19 63.79 (+0.01) 62.19 (-0.02) 61.33 (-0.02) 187.31 (-0.01)
95bf19 63.08 (-0.00) 63.39 (+0.04) 62.62 (+0.03) 189.09 (+0.02)
080752 63.23 (-0.00) 60.98 (-0.03) 60.60 (-0.04) 184.82 (-0.03)
23d5e2 63.29 (+0.05) 62.90 (+0.04) 63.45 (+0.04) 189.65 (+0.05)
23d5e2 60.28 (-0.02) 60.20 (-0.05) 60.89 (-0.02) 181.38 (-0.03)
8b710b 61.37 (-0.00) 63.22 (+0.02) 62.29 (+0.03) 186.89 (+0.02)
8c6e60 61.67 (+0.01) 61.89 (+0.02) 60.50 (-0.03) 184.07 (+0.00)
10dae7 61.06 (-0.01) 60.51 (+0.00) 62.40 (+0.05) 183.97 (+0.01)
4c4d3d 61.61 (-0.01) 60.34 (-0.06) 59.49 (-0.05) 181.44 (-0.04)
9f94d0 62.12 (+0.02) 64.33 (+0.07) 62.74 (+0.05) 189.20 (+0.05)
9f94d0 61.04 (+0.04) 60.13 (+0.05) 59.52 (+0.04) 180.69 (+0.05)
9f94d0 58.48 (-0.02) 57.06 (-0.02) 56.99 (+0.01) 172.53 (-0.01)
c700c7 59.49 (+0.02) 58.21 (+0.03) 56.50 (+0.03) 174.21 (+0.03)
42c6dd 58.26 (-0.02) 56.57 (-0.03) 54.62 (-0.04) 169.45 (-0.03)
f6bf7b 59.25 (+0.02) 58.24 (-0.00) 57.02 (-0.02) 174.52 (-0.00)
1137b5 58.16 (+0.01) 58.44 (-0.02) 58.05 (+0.05) 174.66 (+0.01)
1468c6 57.83 (+0.04) 59.78 (+0.03) 55.04 (-0.03) 172.65 (+0.01)
1468c6 55.77 (-0.02) 58.27 (+0.03) 56.65 (-0.00) 170.69 (+0.00)
c01f92 56.95 (+0.01) 56.38 (+0.01) 56.83 (-0.00) 170.17 (+0.00)
7ff591 56.56 (-0.02) 55.98 (-0.01) 57.08 (+0.02) 169.62 (-0.01)
5d4774 57.90 (-0.07) 56.72 (-0.11) 56.08 (-0.13) 170.70 (-0.10)
56d8c2 62.44 (-0.06) 63.56 (+0.01) 64.27 (-0.00) 190.27 (-0.02)
12e6f4 66.37 (+0.07) 63.10 (-0.02) 64.59 (+0.02) 194.06 (+0.02)
12e6f4 62.28 (-0.02) 64.58 (+0.04) 63.28 (+0.00) 190.14 (+0.01)
61194a 63.84 (-0.09) 62.25 (-0.10) 63.00 (-0.13) 189.09 (-0.11)
70ce01 70.13 (+0.00) 69.27 (-0.05) 72.81 (-0.01) 212.21 (-0.02)
c04c20 69.79 (+0.00) 73.19 (+0.01) 73.88 (+0.01) 216.86 (+0.01)
827ee1 69.75 (-0.06) 72.11 (-0.01) 73.09 (+0.04) 214.94 (-0.01)
22ae67 73.94 (+0.02) 72.72 (+0.02) 70.30 (+0.00) 216.96 (+0.01)
0f4458 72.31 (+0.04) 71.61 (+0.01) 70.10 (-0.05) 214.02 (-0.00)
0f4458 69.56 (-0.03) 71.25 (-0.02) 73.85 (+0.02) 214.66 (-0.01)
0f4458 71.75 (-0.01) 72.35 (+0.01) 72.24 (-0.02) 216.34 (-0.01)
b8a566 72.24 (+0.01) 71.57 (-0.01) 74.03 (+0.03) 217.84 (+0.01)
b8a566 71.62 (+0.04) 72.31 (+0.01) 71.91 (+0.03) 215.84 (+0.03)
9747e9 69.12 (+0.04) 71.48 (+0.00) 69.56 (+0.02) 210.16 (+0.02)
b50e07 66.22 (-0.01) 71.27 (+0.10) 68.48 (+0.03) 205.97 (+0.04)
6a57d5 66.91 (-0.05) 64.62 (-0.06) 66.58 (-0.02) 198.12 (-0.04)
c0480f 70.65 (-0.01) 68.45 (-0.02) 68.04 (-0.01) 207.14 (-0.01)
4f443c 71.39 (+0.02) 69.54 (-0.05) 68.85 (-0.01) 209.78 (-0.01)
4f443c 70.11 (+0.03) 72.86 (+0.08) 69.21 (-0.03) 212.18 (+0.03)
788823 67.94 (-0.52) 67.35 (-0.52) 71.02 (-0.50) 206.31 (-0.52)
c21104 142.62 (+0.95) 141.51 (+0.93) 142.07 (+0.97) 426.20 (+0.95)
b9544a 73.21 (+0.02) 73.33 (+0.05) 72.10 (+0.02) 218.65 (+0.03)
33834c 71.78 (+0.04) 70.02 (+0.01) 70.71 (+0.02) 212.51 (+0.02)
521667 68.93 (-0.02) 69.47 (+0.03) 69.51 (+0.06) 207.91 (+0.02)
361648 70.43 (-0.00) 67.36 (-0.01) 65.30 (-0.02) 203.09 (-0.01)
fc0629 70.66 68.22 66.60 205.48

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query10]

platform: rds-aurora

revision Q10/1 Q10/2 Q10/3 total_duration
41aa62 77.82 (+0.06) 73.98 (-0.01) 76.89 (-0.02) 228.70 (+0.01)
7b5489 73.51 (-0.12) 74.53 (-0.11) 78.76 (-0.05) 226.80 (-0.09)
a23b07 83.86 (+0.12) 83.33 (+0.09) 82.98 (+0.09) 250.18 (+0.10)
cc2d00 74.74 (+0.08) 76.51 (+0.06) 75.81 (+0.02) 227.07 (+0.06)
ba9df2 68.96 (+0.22) 72.10 (+0.24) 74.09 (+0.24) 215.15 (+0.23)
a8f354 56.41 (+0.02) 57.93 (+0.04) 59.87 (+0.09) 174.21 (+0.05)
7feb0d 55.31 (-0.12) 55.69 (-0.12) 54.69 (-0.12) 165.69 (-0.12)
982fce 62.55 (+0.09) 63.51 (+0.06) 62.38 (+0.11) 188.44 (+0.08)
1f151d 57.33 (+0.09) 60.12 (+0.14) 56.41 (+0.02) 173.86 (+0.08)
ff1a1a 52.83 (-0.15) 52.62 (-0.21) 55.08 (-0.18) 160.53 (-0.18)
b1477b 62.36 (-0.00) 66.79 (+0.01) 66.93 (+0.03) 196.08 (+0.01)
1b947f 62.38 (-0.08) 65.90 (-0.03) 65.03 (-0.05) 193.32 (-0.06)
a21b55 67.63 (-0.03) 68.21 (-0.05) 68.80 (-0.07) 204.64 (-0.05)
4ba950 69.53 (+0.08) 71.79 (+0.16) 73.61 (+0.10) 214.93 (+0.11)
4e359d 64.24 (+0.03) 62.10 (+0.05) 67.09 (+0.09) 193.44 (+0.05)
3837fc 62.55 (+0.16) 59.29 (+0.02) 61.70 (+0.08) 183.54 (+0.09)
edcf4d 54.08 (-0.02) 58.02 (+0.07) 56.96 (+0.07) 169.07 (+0.04)
411c71 54.96 (-0.11) 54.36 (-0.09) 53.10 (-0.15) 162.42 (-0.12)
854348 61.85 (+0.05) 59.88 (-0.08) 62.82 (+0.00) 184.55 (-0.01)
7ba5c2 58.70 (-0.01) 64.79 (+0.09) 62.71 (+0.05) 186.20 (+0.05)
ebea29 59.13 (+0.05) 59.20 (-0.03) 59.49 (+0.01) 177.82 (+0.01)
22c890 56.23 (-0.02) 60.87 (+0.05) 59.10 (+0.06) 176.20 (+0.03)
f0b2e0 57.24 (+0.15) 57.83 (+0.05) 55.79 (+0.02) 170.86 (+0.07)
dec580 49.95 (-0.06) 55.09 (+0.07) 54.92 (+0.05) 159.95 (+0.02)
dec580 53.42 (+0.01) 51.71 (-0.04) 52.18 (-0.07) 157.32 (-0.03)
b1c2a6 52.80 (-0.00) 53.62 (+0.00) 56.06 (+0.10) 162.49 (+0.03)
931094 52.90 (+0.04) 53.52 (+0.02) 51.02 (-0.05) 157.44 (+0.00)
957acb 50.77 (-0.04) 52.31 (-0.04) 53.69 (-0.00) 156.77 (-0.03)
846532 53.14 (+0.06) 54.50 (+0.05) 53.90 (+0.01) 161.54 (+0.04)
d733bc 50.03 (-0.02) 52.05 (-0.04) 53.41 (+0.01) 155.49 (-0.01)
75ffe3 50.92 (-0.04) 54.00 (+0.09) 52.69 (+0.01) 157.62 (+0.02)
75ffe3 53.28 (-0.17) 49.52 (-0.23) 52.24 (-0.21) 155.05 (-0.20)
bf4623 63.85 (-0.07) 64.01 (-0.07) 66.01 (-0.03) 193.88 (-0.05)
b26c83 68.45 (+0.08) 68.52 (+0.09) 68.00 (+0.09) 204.97 (+0.08)
9d714a 63.57 (+0.00) 63.07 (-0.01) 62.42 (-0.07) 189.06 (-0.03)
6efea4 63.51 (+0.01) 64.00 (+0.03) 67.32 (+0.08) 194.83 (+0.04)
4071ff 62.75 (-0.00) 61.89 (-0.06) 62.60 (-0.05) 187.24 (-0.04)
4071ff 62.88 (-0.02) 65.98 (+0.02) 66.20 (+0.02) 195.06 (+0.01)
870ba4 63.86 (+0.00) 64.50 (-0.00) 64.69 (+0.02) 193.06 (+0.00)
f5ca89 63.65 (-0.03) 64.82 (+0.00) 63.68 (+0.03) 192.14 (+0.00)
8bd565 65.34 (+0.08) 64.77 (+0.04) 61.61 (-0.02) 191.72 (+0.03)
dd22c8 60.60 (-0.03) 62.34 (+0.01) 62.90 (+0.02) 185.83 (-0.00)
299db9 62.58 (-0.01) 61.80 (-0.03) 61.76 (-0.09) 186.13 (-0.05)
93f3f4 63.51 (-0.00) 63.81 (-0.02) 68.08 (+0.08) 195.41 (+0.02)
f6e2e0 63.72 (-0.07) 65.19 (-0.04) 62.81 (-0.02) 191.72 (-0.05)
f6e2e0 68.70 (+0.06) 67.78 (+0.03) 64.41 (+0.02) 200.89 (+0.04)
f6e2e0 64.75 (-0.01) 65.88 (+0.04) 62.96 (+0.00) 193.59 (+0.01)
f1d960 65.36 (-0.00) 63.08 (-0.03) 62.88 (-0.01) 191.32 (-0.01)
4a9279 65.40 (+0.02) 64.92 (-0.04) 63.29 (+0.00) 193.61 (-0.01)
2e4bf7 64.21 (-0.04) 67.61 (+0.06) 63.20 (+0.01) 195.02 (+0.01)
ce8fbb 67.23 (+0.04) 63.87 (-0.02) 62.29 (-0.03) 193.40 (-0.00)
ce8fbb 64.50 (-0.04) 65.05 (+0.01) 64.14 (+0.04) 193.70 (+0.00)
ce8fbb 67.09 (+0.07) 64.43 (-0.03) 61.39 (-0.09) 192.92 (-0.02)
d1a0f2 62.66 (-0.00) 66.31 (+0.04) 67.82 (+0.15) 196.79 (+0.06)
ccf92d 62.90 (-0.01) 63.71 (+0.04) 58.98 (-0.05) 185.60 (-0.01)
02b8e0 63.23 (-0.01) 61.49 (-0.01) 61.89 (+0.01) 186.62 (-0.00)
7b9057 63.73 (+0.00) 62.22 (-0.06) 61.09 (-0.05) 187.04 (-0.04)
9cada8 63.44 (-0.02) 65.87 (+0.05) 64.53 (+0.05) 193.85 (+0.03)
9cada8 64.69 (-0.01) 62.89 (-0.01) 61.38 (-0.02) 188.95 (-0.01)
9cada8 65.23 (-0.04) 63.63 (-0.03) 62.78 (-0.04) 191.64 (-0.04)
a60f68 67.63 (+0.06) 65.93 (+0.06) 65.47 (-0.01) 199.03 (+0.04)
d19c52 63.64 (+0.03) 62.39 (+0.01) 65.90 (+0.08) 191.93 (+0.04)
000eb1 62.02 (-0.06) 62.02 (-0.10) 60.77 (-0.06) 184.81 (-0.07)
000eb1 65.66 (+0.05) 68.60 (+0.07) 64.62 (-0.03) 198.88 (+0.03)
f51b48 62.34 (-0.04) 64.19 (-0.00) 66.71 (-0.02) 193.24 (-0.02)
f51b48 65.05 (+0.03) 64.21 (+0.01) 67.80 (+0.08) 197.05 (+0.04)
f51b48 63.35 (-0.01) 63.72 (-0.03) 62.90 (-0.05) 189.98 (-0.03)
9f906f 64.29 (+0.11) 65.56 (+0.11) 66.04 (+0.13) 195.89 (+0.12)
0692ff 58.02 (+0.02) 59.14 (+0.05) 58.27 (+0.05) 175.43 (+0.04)
2caece 56.96 (+0.01) 56.09 (-0.03) 55.73 (-0.04) 168.79 (-0.02)
bc7d3c 56.16 (-0.07) 57.70 (-0.04) 57.80 (+0.02) 171.66 (-0.03)
2153d2 60.33 (+0.05) 60.24 (+0.02) 56.77 (-0.00) 177.33 (+0.02)
2153d2 57.65 (+0.05) 58.91 (+0.04) 56.95 (+0.00) 173.51 (+0.03)
2153d2 55.08 (-0.05) 56.59 (-0.03) 56.91 (-0.05) 168.58 (-0.04)
a1b062 57.86 (+0.04) 58.05 (-0.01) 60.22 (+0.04) 176.13 (+0.02)
1d9d7c 55.55 (-0.06) 58.91 (+0.03) 57.99 (-0.02) 172.46 (-0.02)
3569c1 59.25 (+0.02) 57.12 (-0.04) 59.18 (-0.00) 175.55 (-0.01)
eaff14 58.22 (+0.02) 59.61 (+0.00) 59.32 (+0.02) 177.15 (+0.01)
f383b4 57.22 (-0.08) 59.41 (-0.04) 58.41 (-0.01) 175.04 (-0.05)
f383b4 62.30 (+0.05) 61.90 (+0.07) 59.09 (+0.00) 183.30 (+0.04)
f383b4 59.22 (+0.09) 57.80 (+0.08) 58.91 (+0.06) 175.94 (+0.07)
a4256b 54.57 (-0.01) 53.72 (-0.02) 55.51 (-0.07) 163.80 (-0.04)
371493 55.23 (-0.01) 55.00 (-0.01) 59.57 (+0.06) 169.80 (+0.01)
c5c143 56.01 (-0.00) 55.48 (-0.01) 55.99 (-0.04) 167.48 (-0.02)
58fa4f 56.22 (-0.03) 55.80 (+0.00) 58.30 (+0.01) 170.33 (-0.01)
121d53 58.18 (+0.02) 55.68 (-0.03) 57.62 (-0.01) 171.48 (-0.01)
121d53 57.25 (+0.03) 57.39 (+0.04) 58.01 (+0.07) 172.65 (+0.05)
ec3a3a 55.47 (-0.01) 55.08 (-0.00) 54.10 (-0.03) 164.65 (-0.02)
96e783 56.21 (+0.02) 55.32 (+0.03) 56.02 (+0.05) 167.55 (+0.03)
567b71 55.00 (+0.01) 53.80 (-0.06) 53.50 (-0.06) 162.30 (-0.04)
847fc5 54.47 (-0.05) 57.39 (+0.01) 56.82 (+0.02) 168.68 (-0.01)
5e08b3 57.26 (+0.08) 57.04 (+0.03) 55.78 (+0.03) 170.08 (+0.05)
4d291d 53.20 (+0.02) 55.34 (+0.01) 54.20 (+0.01) 162.74 (+0.01)
4d291d 52.26 (-0.01) 54.92 (-0.00) 53.92 (+0.00) 161.10 (-0.00)
bf63f1 52.65 (-0.00) 55.12 (+0.05) 53.68 (-0.02) 161.45 (+0.01)
0a0958 52.74 (+0.01) 52.40 (-0.02) 54.75 (-0.00) 159.89 (-0.00)
aabca5 52.40 (-0.05) 53.51 (-0.02) 54.78 (+0.03) 160.69 (-0.02)
a4be54 55.37 (+0.14) 54.80 (+0.13) 53.13 (+0.10) 163.30 (+0.12)
a3d7ad 48.65 (+0.01) 48.60 (-0.04) 48.30 (-0.06) 145.54 (-0.03)
a3d7ad 48.11 (+0.00) 50.82 (+0.02) 51.18 (+0.04) 150.11 (+0.02)
8ba169 47.92 (-0.01) 50.01 (+0.04) 49.19 (+0.00) 147.12 (+0.01)
e5cc2f 48.61 (-0.01) 48.21 (-0.02) 49.18 (-0.00) 146.01 (-0.01)
c6b56d 49.31 (+0.01) 49.00 (+0.01) 49.20 (-0.01) 147.51 (+0.00)
e067cd 48.73 (-0.02) 48.53 (+0.02) 49.67 (+0.02) 146.93 (+0.01)
bce423 49.66 (+0.04) 47.67 (-0.03) 48.72 (-0.05) 146.06 (-0.01)
bce423 47.62 (-0.06) 49.19 (-0.01) 51.28 (+0.03) 148.08 (-0.02)
c28bfd 50.69 (+0.02) 49.80 (+0.04) 49.88 (+0.00) 150.38 (+0.02)
95bf19 49.92 (+0.02) 48.01 (+0.00) 49.67 (+0.01) 147.60 (+0.01)
95bf19 49.14 (-0.01) 47.92 (-0.05) 49.41 (+0.01) 146.48 (-0.02)
080752 49.75 (+0.05) 50.52 (+0.03) 48.79 (+0.05) 149.06 (+0.04)
23d5e2 47.46 (+0.02) 48.91 (+0.02) 46.61 (+0.00) 142.98 (+0.01)
23d5e2 46.70 (-0.06) 47.76 (+0.04) 46.50 (-0.04) 140.96 (-0.02)
8b710b 49.50 (+0.05) 45.81 (-0.01) 48.28 (-0.00) 143.59 (+0.01)
8c6e60 47.08 (-0.06) 46.21 (-0.02) 48.45 (-0.02) 141.75 (-0.03)
10dae7 50.26 (+0.11) 47.04 (-0.05) 49.37 (+0.04) 146.67 (+0.03)
4c4d3d 45.17 (-0.04) 49.36 (+0.00) 47.60 (+0.01) 142.13 (-0.01)
9f94d0 47.29 (-0.02) 49.32 (+0.08) 47.19 (-0.03) 143.80 (+0.01)
9f94d0 48.31 (+0.08) 45.49 (-0.02) 48.62 (+0.07) 142.42 (+0.04)
9f94d0 44.56 (+0.03) 46.43 (+0.02) 45.53 (+0.01) 136.52 (+0.02)
c700c7 43.43 (-0.05) 45.45 (+0.02) 45.28 (-0.03) 134.16 (-0.02)
42c6dd 45.83 (-0.01) 44.53 (-0.00) 46.79 (+0.01) 137.16 (+0.00)
f6bf7b 46.24 (+0.05) 44.61 (-0.02) 46.27 (+0.04) 137.13 (+0.03)
1137b5 44.05 (-0.05) 45.32 (+0.04) 44.40 (-0.03) 133.77 (-0.01)
1468c6 46.54 (+0.02) 43.41 (-0.01) 45.72 (+0.03) 135.68 (+0.01)
1468c6 45.58 (+0.01) 43.94 (-0.01) 44.40 (-0.06) 133.92 (-0.02)
c01f92 45.33 (+0.04) 44.53 (-0.02) 47.16 (+0.09) 137.02 (+0.04)
7ff591 43.68 (-0.00) 45.29 (+0.07) 43.12 (-0.01) 132.09 (+0.02)
5d4774 43.85 (-0.17) 42.41 (-0.20) 43.40 (-0.17) 129.65 (-0.18)
56d8c2 52.78 (+0.03) 52.70 (+0.04) 52.18 (-0.04) 157.67 (+0.01)
12e6f4 51.03 (-0.03) 50.67 (-0.00) 54.49 (+0.05) 156.20 (+0.01)
12e6f4 52.57 (-0.00) 50.71 (-0.01) 52.12 (-0.01) 155.40 (-0.01)
61194a 52.71 (-0.09) 51.41 (-0.10) 52.40 (-0.08) 156.52 (-0.09)
70ce01 57.88 (-0.01) 56.87 (-0.03) 56.92 (-0.05) 171.67 (-0.03)
c04c20 58.23 (-0.04) 58.89 (+0.00) 59.88 (+0.02) 177.00 (-0.01)
827ee1 60.96 (-0.02) 58.81 (-0.03) 58.77 (-0.03) 178.54 (-0.03)
22ae67 62.47 (+0.03) 60.61 (+0.00) 60.80 (+0.03) 183.88 (+0.02)
0f4458 60.50 (-0.00) 60.59 (+0.02) 58.89 (+0.00) 179.97 (+0.01)
0f4458 60.80 (+0.01) 59.27 (+0.03) 58.83 (+0.02) 178.90 (+0.02)
0f4458 60.03 (+0.07) 57.58 (-0.03) 57.71 (-0.04) 175.33 (-0.00)
b8a566 56.34 (-0.06) 59.16 (+0.03) 59.83 (+0.03) 175.33 (-0.00)
b8a566 59.74 (+0.05) 57.50 (-0.04) 58.36 (+0.00) 175.60 (+0.00)
9747e9 56.82 (-0.03) 59.92 (+0.06) 58.28 (+0.02) 175.03 (+0.02)
b50e07 58.51 (+0.16) 56.48 (+0.08) 57.00 (+0.07) 171.99 (+0.10)
6a57d5 50.40 (-0.17) 52.48 (-0.08) 53.51 (-0.08) 156.39 (-0.11)
c0480f 60.45 (+0.05) 57.27 (-0.03) 57.88 (+0.01) 175.60 (+0.01)
4f443c 57.50 (+0.00) 59.02 (-0.03) 57.58 (-0.01) 174.10 (-0.01)
4f443c 57.38 (+0.03) 61.05 (+0.07) 57.88 (+0.06) 176.31 (+0.05)
788823 55.59 (-0.31) 57.26 (-0.23) 54.63 (-0.33) 167.48 (-0.29)
c21104 80.01 (+0.39) 74.28 (+0.28) 81.21 (+0.35) 235.51 (+0.34)
b9544a 57.46 (-0.05) 58.00 (-0.02) 60.21 (+0.03) 175.67 (-0.01)
33834c 60.20 (+0.11) 58.90 (+0.11) 58.70 (+0.06) 177.81 (+0.09)
521667 54.41 (-0.01) 53.28 (-0.04) 55.59 (-0.02) 163.28 (-0.02)
361648 54.97 (-0.01) 55.30 (-0.07) 56.79 (-0.02) 167.07 (-0.03)
fc0629 55.26 59.69 58.10 173.05

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query11]

platform: rds-aurora

revision Q11/1 Q11/2 Q11/3 total_duration
41aa62 79.69 (+0.09) 75.88 (+0.01) 76.32 (+0.03) 231.89 (+0.05)
7b5489 72.97 (-0.20) 74.93 (-0.09) 73.80 (-0.09) 221.70 (-0.13)
a23b07 91.24 (+0.25) 82.16 (+0.10) 81.10 (+0.05) 254.50 (+0.13)
cc2d00 73.05 (+0.05) 75.01 (+0.08) 77.07 (+0.05) 225.13 (+0.06)
ba9df2 69.48 (+0.17) 69.58 (+0.13) 73.72 (+0.26) 212.79 (+0.18)
a8f354 59.61 (+0.07) 61.78 (+0.18) 58.64 (+0.07) 180.04 (+0.11)
7feb0d 55.65 (-0.10) 52.19 (-0.15) 54.74 (-0.15) 162.59 (-0.13)
982fce 61.91 (+0.10) 61.58 (+0.10) 64.31 (+0.13) 187.81 (+0.11)
1f151d 56.03 (+0.04) 55.79 (+0.02) 56.82 (+0.08) 168.65 (+0.05)
ff1a1a 53.62 (-0.18) 54.83 (-0.14) 52.59 (-0.24) 161.04 (-0.19)
b1477b 65.61 (+0.02) 64.13 (+0.01) 69.57 (+0.05) 199.31 (+0.03)
1b947f 64.42 (-0.07) 63.23 (-0.11) 66.31 (-0.05) 193.96 (-0.08)
a21b55 69.57 (-0.00) 71.00 (-0.02) 69.68 (-0.03) 210.25 (-0.02)
4ba950 69.63 (+0.11) 72.47 (+0.17) 71.82 (+0.14) 213.92 (+0.14)
4e359d 62.85 (+0.03) 61.72 (-0.02) 62.90 (-0.02) 187.48 (-0.00)
3837fc 60.78 (+0.07) 62.89 (+0.11) 63.99 (+0.12) 187.67 (+0.10)
edcf4d 56.78 (+0.06) 56.50 (+0.03) 57.38 (+0.04) 170.66 (+0.04)
411c71 53.33 (-0.12) 54.81 (-0.09) 55.17 (-0.12) 163.31 (-0.11)
854348 60.53 (+0.01) 60.29 (+0.05) 62.52 (+0.05) 183.35 (+0.04)
7ba5c2 59.78 (+0.05) 57.61 (-0.01) 59.50 (+0.02) 176.88 (+0.02)
ebea29 56.70 (-0.05) 57.94 (-0.02) 58.17 (-0.08) 172.81 (-0.05)
22c890 59.44 (+0.04) 58.99 (+0.06) 62.93 (+0.14) 181.37 (+0.08)
f0b2e0 57.35 (+0.06) 55.57 (-0.03) 55.22 (+0.03) 168.14 (+0.02)
dec580 54.06 (+0.04) 57.19 (+0.09) 53.53 (+0.05) 164.77 (+0.06)
dec580 51.78 (-0.03) 52.31 (+0.00) 51.19 (-0.01) 155.28 (-0.01)
b1c2a6 53.46 (+0.01) 52.12 (-0.01) 51.72 (-0.03) 157.29 (-0.01)
931094 53.14 (+0.02) 52.90 (-0.04) 53.49 (+0.02) 159.53 (-0.00)
957acb 51.97 (-0.01) 54.98 (+0.05) 52.61 (-0.08) 159.56 (-0.01)
846532 52.42 (+0.01) 52.31 (+0.03) 57.08 (+0.06) 161.81 (+0.03)
d733bc 52.05 (-0.03) 50.98 (-0.02) 53.83 (+0.01) 156.86 (-0.01)
75ffe3 53.67 (+0.04) 51.98 (+0.02) 53.38 (+0.05) 159.04 (+0.03)
75ffe3 51.80 (-0.22) 50.98 (-0.20) 50.93 (-0.23) 153.71 (-0.22)
bf4623 66.21 (+0.02) 64.01 (+0.01) 66.38 (+0.03) 196.61 (+0.02)
b26c83 64.99 (+0.02) 63.15 (-0.06) 64.44 (-0.01) 192.59 (-0.02)
9d714a 63.74 (+0.02) 67.28 (+0.11) 65.42 (+0.06) 196.45 (+0.06)
6efea4 62.40 (-0.04) 60.70 (-0.04) 61.73 (-0.02) 184.83 (-0.03)
4071ff 65.05 (+0.02) 63.30 (-0.00) 62.90 (-0.00) 191.25 (+0.00)
4071ff 63.88 (-0.00) 63.47 (-0.00) 63.21 (-0.01) 190.55 (-0.01)
870ba4 64.18 (+0.00) 63.59 (-0.00) 63.79 (+0.00) 191.57 (+0.00)
f5ca89 63.96 (+0.01) 63.89 (+0.00) 63.59 (-0.06) 191.44 (-0.02)
8bd565 63.29 (+0.02) 63.87 (+0.02) 67.51 (+0.09) 194.67 (+0.04)
dd22c8 61.79 (+0.01) 62.62 (+0.01) 62.19 (-0.00) 186.60 (+0.00)
299db9 61.18 (-0.05) 62.20 (-0.03) 62.41 (-0.06) 185.78 (-0.05)
93f3f4 64.17 (+0.01) 64.09 (-0.02) 66.32 (+0.01) 194.58 (+0.00)
f6e2e0 63.25 (+0.01) 65.12 (+0.01) 65.77 (+0.02) 194.13 (+0.01)
f6e2e0 62.36 (-0.03) 64.40 (+0.01) 64.77 (+0.01) 191.54 (-0.01)
f6e2e0 64.32 (+0.03) 63.88 (+0.01) 64.41 (-0.04) 192.61 (-0.00)
f1d960 62.55 (-0.06) 63.13 (-0.12) 67.41 (+0.01) 193.08 (-0.06)
4a9279 66.67 (+0.04) 71.60 (+0.12) 66.42 (+0.04) 204.69 (+0.07)
2e4bf7 64.18 (+0.03) 63.68 (+0.01) 63.90 (-0.01) 191.76 (+0.01)
ce8fbb 62.28 (-0.07) 62.99 (-0.07) 64.37 (+0.00) 189.64 (-0.04)
ce8fbb 66.79 (+0.07) 67.41 (+0.05) 64.10 (-0.00) 198.29 (+0.04)
ce8fbb 62.63 (+0.00) 64.43 (+0.04) 64.16 (+0.03) 191.22 (+0.02)
d1a0f2 62.62 (+0.03) 62.11 (-0.04) 62.38 (-0.05) 187.11 (-0.02)
ccf92d 60.74 (-0.07) 65.00 (+0.02) 65.58 (+0.05) 191.31 (-0.00)
02b8e0 65.43 (+0.05) 63.51 (-0.00) 62.68 (-0.03) 191.62 (+0.01)
7b9057 62.55 (-0.02) 63.62 (-0.01) 64.30 (-0.08) 190.47 (-0.04)
9cada8 64.03 (+0.04) 64.39 (+0.04) 69.91 (+0.12) 198.33 (+0.07)
9cada8 61.56 (+0.03) 61.89 (-0.04) 62.14 (-0.02) 185.59 (-0.01)
9cada8 59.94 (-0.06) 64.29 (+0.02) 63.40 (-0.03) 187.64 (-0.03)
a60f68 63.91 (-0.03) 63.29 (-0.02) 65.59 (+0.09) 192.79 (+0.01)
d19c52 66.18 (+0.02) 64.71 (-0.05) 59.99 (-0.06) 190.87 (-0.03)
000eb1 64.85 (+0.03) 68.02 (+0.06) 64.11 (-0.01) 196.98 (+0.03)
000eb1 62.75 (-0.01) 64.20 (+0.02) 64.79 (-0.02) 191.75 (-0.00)
f51b48 63.54 (-0.00) 62.66 (-0.00) 66.31 (+0.01) 192.51 (+0.00)
f51b48 63.67 (-0.02) 62.97 (+0.01) 65.51 (+0.06) 192.16 (+0.02)
f51b48 64.95 (-0.03) 62.21 (-0.07) 61.60 (-0.05) 188.76 (-0.05)
9f906f 66.82 (+0.10) 66.79 (+0.11) 64.70 (+0.07) 198.31 (+0.09)
0692ff 60.76 (+0.05) 60.24 (+0.06) 60.20 (+0.02) 181.19 (+0.04)
2caece 57.89 (-0.04) 56.98 (-0.04) 59.04 (+0.02) 173.91 (-0.02)
bc7d3c 60.46 (+0.07) 59.18 (-0.02) 57.72 (-0.01) 177.36 (+0.01)
2153d2 56.28 (-0.04) 60.31 (+0.05) 58.51 (-0.05) 175.09 (-0.01)
2153d2 58.41 (-0.01) 57.41 (-0.03) 61.58 (+0.06) 177.40 (+0.01)
2153d2 58.75 (-0.03) 59.20 (-0.00) 58.28 (-0.01) 176.23 (-0.01)
a1b062 60.32 (+0.05) 59.33 (-0.00) 58.68 (+0.02) 178.33 (+0.02)
1d9d7c 57.35 (-0.04) 59.39 (-0.05) 57.73 (-0.03) 174.47 (-0.04)
3569c1 59.60 (+0.02) 62.61 (+0.07) 59.41 (+0.00) 181.63 (+0.03)
eaff14 58.62 (-0.01) 58.28 (+0.01) 59.13 (+0.02) 176.03 (+0.01)
f383b4 59.44 (+0.05) 57.61 (-0.01) 57.79 (-0.02) 174.84 (+0.01)
f383b4 56.40 (-0.04) 58.15 (+0.01) 58.78 (+0.03) 173.33 (-0.00)
f383b4 58.94 (+0.03) 57.48 (-0.02) 57.03 (-0.01) 173.46 (+0.00)
a4256b 57.41 (-0.06) 58.60 (+0.03) 57.40 (+0.03) 173.40 (-0.00)
371493 61.16 (+0.08) 56.93 (+0.02) 55.66 (+0.02) 173.75 (+0.04)
c5c143 56.85 (-0.02) 55.69 (-0.02) 54.40 (-0.03) 166.95 (-0.02)
58fa4f 58.19 (+0.02) 56.73 (+0.00) 55.87 (-0.02) 170.80 (+0.00)
121d53 57.06 (+0.02) 56.47 (-0.02) 56.93 (-0.00) 170.45 (-0.00)
121d53 55.73 (+0.01) 57.88 (+0.05) 57.20 (+0.03) 170.82 (+0.03)
ec3a3a 54.95 (-0.02) 55.08 (-0.07) 55.73 (-0.04) 165.76 (-0.04)
96e783 56.13 (+0.05) 59.11 (+0.09) 57.87 (+0.05) 173.11 (+0.06)
567b71 53.25 (-0.03) 54.43 (-0.01) 55.28 (-0.01) 162.96 (-0.02)
847fc5 54.63 (+0.01) 55.22 (-0.02) 55.67 (-0.01) 165.53 (-0.01)
5e08b3 54.02 (-0.01) 56.22 (+0.00) 56.31 (+0.05) 166.56 (+0.01)
4d291d 54.80 (+0.00) 56.09 (-0.01) 53.40 (-0.02) 164.29 (-0.01)
4d291d 54.54 (+0.01) 56.67 (+0.09) 54.59 (+0.03) 165.80 (+0.04)
bf63f1 53.76 (-0.02) 52.00 (-0.08) 52.92 (-0.02) 158.68 (-0.04)
0a0958 55.12 (+0.01) 56.39 (+0.02) 53.81 (-0.04) 165.32 (-0.00)
aabca5 54.59 (-0.00) 55.30 (-0.01) 56.09 (+0.02) 165.98 (+0.00)
a4be54 54.86 (+0.09) 56.00 (+0.10) 55.03 (+0.10) 165.89 (+0.10)
a3d7ad 50.15 (+0.04) 50.80 (+0.00) 50.02 (-0.00) 150.97 (+0.01)
a3d7ad 48.31 (+0.02) 50.68 (+0.00) 50.11 (-0.04) 149.11 (-0.01)
8ba169 47.38 (+0.01) 50.60 (+0.01) 52.18 (+0.01) 150.16 (+0.01)
e5cc2f 46.77 (+0.02) 50.13 (+0.03) 51.49 (+0.09) 148.39 (+0.04)
c6b56d 46.07 (-0.08) 48.80 (+0.02) 47.37 (-0.04) 142.24 (-0.03)
e067cd 50.01 (+0.01) 47.76 (-0.04) 49.09 (-0.00) 146.86 (-0.01)
bce423 49.56 (+0.01) 49.78 (-0.00) 49.22 (+0.01) 148.56 (+0.01)
bce423 48.87 (-0.06) 49.92 (+0.04) 48.89 (+0.01) 147.68 (-0.01)
c28bfd 51.76 (+0.02) 48.19 (+0.01) 48.52 (-0.04) 148.48 (-0.00)
95bf19 50.72 (+0.05) 47.79 (-0.04) 50.52 (+0.01) 149.04 (+0.01)
95bf19 48.52 (+0.03) 49.74 (+0.01) 49.89 (+0.06) 148.15 (+0.03)
080752 47.23 (-0.05) 49.30 (-0.03) 47.02 (+0.01) 143.56 (-0.03)
23d5e2 49.81 (+0.02) 50.81 (+0.07) 46.63 (-0.00) 147.26 (+0.03)
23d5e2 48.65 (+0.02) 47.51 (+0.01) 46.81 (-0.09) 142.97 (-0.02)
8b710b 47.54 (+0.00) 47.00 (-0.09) 51.61 (+0.06) 146.16 (-0.01)
8c6e60 47.37 (-0.02) 51.41 (+0.10) 48.90 (-0.01) 147.69 (+0.02)
10dae7 48.48 (+0.03) 46.89 (-0.04) 49.48 (+0.07) 144.85 (+0.02)
4c4d3d 47.26 (-0.04) 48.93 (-0.05) 46.08 (-0.07) 142.27 (-0.05)
9f94d0 49.33 (+0.03) 51.60 (+0.10) 49.38 (-0.00) 150.32 (+0.04)
9f94d0 47.86 (+0.06) 47.12 (+0.07) 49.57 (+0.10) 144.55 (+0.07)
9f94d0 45.33 (-0.03) 44.08 (-0.02) 45.20 (-0.01) 134.62 (-0.02)
c700c7 46.57 (-0.00) 44.77 (-0.01) 45.83 (+0.02) 137.18 (+0.00)
42c6dd 46.77 (+0.03) 45.06 (-0.03) 44.83 (+0.01) 136.66 (+0.00)
f6bf7b 45.55 (-0.03) 46.40 (+0.03) 44.33 (-0.05) 136.28 (-0.02)
1137b5 46.96 (+0.05) 45.12 (-0.02) 46.58 (-0.00) 138.66 (+0.01)
1468c6 44.71 (+0.03) 45.91 (+0.02) 46.60 (+0.04) 137.23 (+0.03)
1468c6 43.42 (-0.01) 45.02 (-0.01) 44.90 (+0.03) 133.34 (+0.00)
c01f92 43.77 (-0.01) 45.61 (+0.06) 43.39 (-0.04) 132.77 (+0.00)
7ff591 44.34 (-0.01) 43.00 (-0.02) 45.12 (+0.01) 132.46 (-0.01)
5d4774 44.69 (-0.11) 43.79 (-0.17) 44.70 (-0.17) 133.18 (-0.15)
56d8c2 50.15 (-0.04) 52.51 (-0.03) 53.90 (+0.06) 156.56 (-0.00)
12e6f4 52.38 (-0.02) 53.99 (+0.04) 50.90 (+0.01) 157.27 (+0.01)
12e6f4 53.34 (+0.02) 51.88 (+0.01) 50.51 (-0.05) 155.73 (-0.01)
61194a 52.38 (-0.07) 51.59 (-0.12) 53.10 (-0.09) 157.07 (-0.10)
70ce01 56.50 (-0.07) 58.89 (-0.01) 58.62 (+0.00) 174.01 (-0.03)
c04c20 60.80 (+0.03) 59.27 (-0.01) 58.60 (-0.04) 178.67 (-0.01)
827ee1 58.97 (-0.01) 59.71 (-0.01) 61.11 (-0.00) 179.79 (-0.01)
22ae67 59.31 (+0.02) 60.02 (+0.01) 61.39 (+0.03) 180.73 (+0.02)
0f4458 58.27 (-0.03) 59.28 (-0.03) 59.42 (-0.00) 176.97 (-0.02)
0f4458 59.95 (+0.06) 61.21 (+0.04) 59.67 (-0.00) 180.84 (+0.03)
0f4458 56.43 (-0.06) 58.98 (-0.01) 59.81 (+0.02) 175.23 (-0.01)
b8a566 59.74 (+0.02) 59.61 (-0.01) 58.52 (-0.03) 177.87 (-0.01)
b8a566 58.50 (+0.01) 60.47 (+0.03) 60.44 (+0.04) 179.41 (+0.03)
9747e9 58.16 (+0.01) 58.43 (+0.04) 58.17 (-0.00) 174.77 (+0.02)
b50e07 57.38 (+0.15) 56.30 (-0.20) 58.38 (+0.14) 172.06 (+0.00)
6a57d5 49.90 (-0.10) 70.48 (+0.27) 51.21 (-0.11) 171.59 (+0.02)
c0480f 55.51 (-0.02) 55.51 (-0.03) 57.58 (-0.01) 168.61 (-0.02)
4f443c 56.76 (-0.04) 57.38 (+0.01) 58.42 (+0.04) 172.56 (+0.00)
4f443c 59.07 (+0.10) 57.02 (+0.05) 56.30 (+0.01) 172.39 (+0.05)
788823 53.60 (-0.32) 54.39 (-0.33) 55.60 (-0.28) 163.59 (-0.31)
c21104 78.41 (+0.32) 81.61 (+0.43) 77.51 (+0.35) 237.53 (+0.37)
b9544a 59.33 (+0.00) 57.20 (-0.05) 57.21 (-0.05) 173.75 (-0.03)
33834c 59.07 (+0.08) 60.00 (+0.06) 60.41 (+0.09) 179.48 (+0.07)
521667 54.92 (-0.01) 56.59 (+0.07) 55.51 (+0.01) 167.02 (+0.02)
361648 55.22 (-0.01) 52.88 (-0.05) 55.00 (+0.01) 163.11 (-0.02)
fc0629 55.78 55.72 54.38 165.88

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query12]

platform: rds-aurora

revision Q12/1 Q12/2 Q12/3 total_duration
41aa62 96.77 (-0.05) 98.69 (+0.04) 96.22 (+0.02) 291.68 (+0.00)
7b5489 101.74 (-0.07) 95.21 (-0.09) 93.99 (-0.11) 290.94 (-0.09)
a23b07 109.64 (+0.12) 104.72 (+0.11) 106.19 (+0.09) 320.56 (+0.11)
cc2d00 97.47 (+0.05) 94.21 (+0.05) 97.29 (+0.06) 288.97 (+0.05)
ba9df2 92.72 (+0.19) 89.92 (+0.15) 92.20 (+0.18) 274.84 (+0.17)
a8f354 77.74 (+0.04) 78.00 (+0.08) 78.19 (+0.11) 233.93 (+0.08)
7feb0d 74.55 (-0.11) 72.08 (-0.11) 70.69 (-0.12) 217.32 (-0.11)
982fce 83.35 (+0.12) 81.01 (+0.09) 80.28 (+0.13) 244.65 (+0.11)
1f151d 74.35 (+0.05) 74.48 (+0.04) 70.90 (+0.00) 219.74 (+0.03)
ff1a1a 70.95 (-0.18) 71.81 (-0.18) 70.79 (-0.19) 213.56 (-0.18)
b1477b 86.29 (+0.05) 88.00 (+0.02) 87.27 (+0.06) 261.56 (+0.04)
1b947f 82.33 (-0.07) 86.31 (-0.07) 82.59 (-0.09) 251.22 (-0.08)
a21b55 88.76 (-0.03) 93.11 (+0.07) 90.52 (-0.02) 272.39 (+0.00)
4ba950 91.85 (+0.12) 87.22 (+0.09) 92.77 (+0.17) 271.84 (+0.13)
4e359d 81.96 (+0.03) 79.77 (-0.01) 79.62 (-0.01) 241.35 (+0.00)
3837fc 79.72 (+0.03) 80.39 (+0.10) 80.59 (+0.08) 240.70 (+0.07)
edcf4d 77.18 (+0.12) 73.39 (+0.06) 74.78 (+0.07) 225.35 (+0.09)
411c71 68.77 (-0.15) 69.11 (-0.13) 69.56 (-0.09) 207.45 (-0.12)
854348 80.55 (+0.04) 79.70 (+0.03) 76.10 (-0.05) 236.35 (+0.01)
7ba5c2 77.74 (+0.03) 77.31 (+0.03) 79.94 (+0.03) 234.98 (+0.03)
ebea29 75.74 (-0.03) 75.29 (-0.06) 77.83 (+0.04) 228.86 (-0.02)
22c890 78.48 (+0.07) 79.92 (+0.10) 74.80 (-0.01) 233.19 (+0.05)
f0b2e0 73.51 (+0.04) 72.71 (+0.04) 75.29 (+0.08) 221.52 (+0.05)
dec580 70.83 (+0.02) 70.12 (+0.01) 69.39 (-0.03) 210.35 (-0.00)
dec580 69.56 (-0.05) 69.08 (+0.00) 71.72 (+0.02) 210.37 (-0.01)
b1c2a6 72.87 (+0.07) 68.89 (+0.03) 69.98 (+0.03) 211.74 (+0.04)
931094 68.16 (+0.02) 67.07 (-0.04) 67.63 (+0.02) 202.87 (+0.00)
957acb 66.85 (-0.03) 69.63 (-0.01) 65.99 (-0.06) 202.47 (-0.03)
846532 68.96 (+0.02) 70.61 (+0.04) 70.00 (+0.03) 209.56 (+0.03)
d733bc 67.52 (-0.05) 67.63 (-0.03) 68.16 (-0.04) 203.31 (-0.04)
75ffe3 70.97 (+0.07) 69.51 (+0.03) 70.69 (+0.06) 211.17 (+0.05)
75ffe3 66.20 (-0.23) 67.81 (-0.22) 66.70 (-0.21) 200.72 (-0.22)
bf4623 86.38 (+0.02) 86.88 (+0.08) 84.13 (+0.04) 257.39 (+0.05)
b26c83 84.36 (-0.01) 80.68 (-0.06) 81.12 (-0.07) 246.16 (-0.04)
9d714a 84.84 (-0.02) 85.49 (+0.06) 87.32 (+0.10) 257.64 (+0.04)
6efea4 86.85 (+0.06) 80.80 (-0.06) 79.59 (-0.05) 247.25 (-0.02)
4071ff 81.77 (-0.06) 86.31 (+0.04) 83.96 (-0.00) 252.04 (-0.01)
4071ff 86.98 (+0.04) 83.12 (-0.04) 84.25 (+0.00) 254.35 (-0.00)
870ba4 83.96 (+0.00) 86.17 (-0.03) 84.24 (-0.04) 254.37 (-0.02)
f5ca89 83.78 (-0.04) 89.18 (+0.05) 87.34 (-0.03) 260.30 (-0.01)
8bd565 87.15 (+0.01) 85.20 (+0.02) 89.92 (+0.05) 262.26 (+0.03)
dd22c8 86.41 (+0.02) 83.61 (+0.02) 85.30 (+0.07) 255.32 (+0.04)
299db9 84.54 (-0.01) 81.99 (-0.03) 79.88 (-0.10) 246.41 (-0.05)
93f3f4 85.45 (+0.04) 84.73 (+0.01) 88.50 (-0.01) 258.67 (+0.01)
f6e2e0 82.48 (-0.01) 84.20 (-0.03) 89.00 (-0.03) 255.68 (-0.02)
f6e2e0 83.21 (-0.05) 86.73 (+0.01) 91.55 (+0.04) 261.50 (+0.00)
f6e2e0 87.16 (+0.05) 85.51 (+0.01) 88.08 (+0.01) 260.75 (+0.02)
f1d960 82.81 (-0.03) 84.71 (-0.07) 87.32 (-0.04) 254.85 (-0.05)
4a9279 85.02 (+0.01) 91.28 (+0.07) 90.92 (+0.06) 267.22 (+0.05)
2e4bf7 84.06 (+0.01) 85.36 (+0.06) 86.12 (+0.01) 255.54 (+0.03)
ce8fbb 83.37 (-0.07) 80.21 (-0.08) 85.69 (-0.03) 249.27 (-0.06)
ce8fbb 89.54 (+0.05) 87.01 (+0.06) 87.98 (-0.02) 264.54 (+0.02)
ce8fbb 85.54 (+0.01) 82.38 (+0.04) 90.21 (+0.09) 258.14 (+0.04)
d1a0f2 84.57 (+0.05) 79.41 (-0.04) 83.08 (-0.04) 247.06 (-0.01)
ccf92d 80.84 (-0.01) 82.38 (+0.02) 86.48 (+0.05) 249.70 (+0.02)
02b8e0 81.30 (+0.01) 80.72 (+0.00) 82.22 (-0.04) 244.24 (-0.01)
7b9057 80.70 (-0.06) 80.43 (-0.04) 85.27 (+0.06) 246.41 (-0.01)
9cada8 85.47 (+0.00) 83.89 (+0.01) 80.40 (+0.00) 249.76 (+0.01)
9cada8 85.35 (+0.06) 82.77 (+0.03) 80.11 (-0.10) 248.23 (-0.01)
9cada8 80.73 (-0.08) 80.35 (-0.07) 89.26 (+0.08) 250.34 (-0.02)
a60f68 87.41 (+0.10) 85.99 (+0.03) 82.99 (+0.00) 256.40 (+0.04)
d19c52 79.62 (-0.05) 83.23 (+0.02) 82.96 (-0.05) 245.82 (-0.03)
000eb1 83.86 (-0.07) 82.00 (-0.07) 87.71 (+0.03) 253.57 (-0.04)
000eb1 89.74 (+0.06) 88.10 (+0.05) 85.51 (+0.06) 263.35 (+0.06)
f51b48 84.56 (-0.07) 84.03 (+0.00) 80.60 (-0.05) 249.19 (-0.04)
f51b48 90.72 (+0.01) 84.01 (-0.03) 84.92 (-0.04) 259.65 (-0.02)
f51b48 89.53 (+0.10) 86.20 (+0.04) 88.00 (+0.04) 263.73 (+0.06)
9f906f 81.60 (+0.01) 82.67 (+0.05) 84.51 (+0.12) 248.78 (+0.06)
0692ff 81.13 (+0.10) 78.52 (+0.05) 75.51 (-0.00) 235.16 (+0.05)
2caece 73.71 (-0.04) 74.61 (-0.05) 75.59 (-0.03) 223.91 (-0.04)
bc7d3c 76.73 (+0.00) 78.28 (+0.01) 77.53 (+0.00) 232.54 (+0.00)
2153d2 76.72 (-0.04) 77.30 (-0.01) 77.41 (-0.02) 231.43 (-0.02)
2153d2 79.87 (+0.05) 78.19 (+0.01) 79.00 (-0.01) 237.06 (+0.02)
2153d2 76.07 (+0.00) 77.27 (-0.02) 79.99 (+0.02) 233.34 (-0.00)
a1b062 75.72 (-0.01) 79.09 (-0.01) 78.71 (+0.05) 233.52 (+0.01)
1d9d7c 76.23 (-0.01) 79.99 (-0.00) 75.01 (-0.06) 231.23 (-0.02)
3569c1 77.05 (-0.03) 80.26 (+0.05) 79.79 (+0.04) 237.10 (+0.02)
eaff14 79.36 (-0.02) 76.77 (-0.01) 76.90 (+0.04) 233.02 (+0.00)
f383b4 80.65 (+0.03) 77.92 (-0.00) 74.28 (+0.01) 232.86 (+0.01)
f383b4 78.54 (+0.03) 78.30 (-0.00) 73.80 (-0.00) 230.64 (+0.01)
f383b4 75.96 (+0.04) 78.31 (+0.04) 73.86 (-0.00) 228.13 (+0.03)
a4256b 72.69 (-0.05) 75.28 (-0.02) 74.00 (+0.01) 221.97 (-0.02)
371493 76.40 (+0.03) 77.16 (+0.08) 73.63 (-0.03) 227.20 (+0.03)
c5c143 74.17 (+0.03) 71.50 (-0.05) 75.81 (+0.03) 221.48 (+0.00)
58fa4f 71.87 (-0.07) 75.20 (+0.02) 73.80 (-0.02) 220.87 (-0.02)
121d53 77.53 (+0.00) 73.90 (-0.01) 74.93 (-0.03) 226.37 (-0.01)
121d53 77.27 (+0.04) 74.79 (+0.00) 77.11 (+0.05) 229.17 (+0.03)
ec3a3a 74.55 (-0.00) 74.69 (+0.04) 73.21 (-0.07) 222.46 (-0.01)
96e783 74.86 (+0.04) 71.94 (+0.01) 78.66 (+0.10) 225.46 (+0.05)
567b71 72.17 (-0.03) 71.31 (-0.02) 71.38 (-0.00) 214.86 (-0.02)
847fc5 74.39 (-0.03) 72.48 (-0.01) 71.49 (-0.05) 218.36 (-0.03)
5e08b3 76.45 (+0.06) 72.92 (+0.02) 75.47 (+0.01) 224.84 (+0.03)
4d291d 71.79 (-0.00) 71.70 (+0.01) 74.88 (+0.00) 218.38 (+0.00)
4d291d 71.86 (-0.01) 71.18 (+0.03) 74.63 (+0.09) 217.67 (+0.04)
bf63f1 72.32 (+0.04) 69.41 (-0.03) 68.55 (-0.05) 210.29 (-0.01)
0a0958 69.37 (-0.02) 71.41 (+0.03) 72.00 (-0.02) 212.78 (-0.00)
aabca5 71.14 (-0.01) 69.12 (-0.04) 73.48 (-0.00) 213.75 (-0.02)
a4be54 71.76 (+0.07) 72.00 (+0.08) 73.83 (+0.09) 217.60 (+0.08)
a3d7ad 66.93 (-0.01) 66.49 (-0.01) 68.02 (+0.04) 201.43 (+0.00)
a3d7ad 67.38 (+0.01) 67.50 (+0.01) 65.58 (-0.02) 200.47 (+0.00)
8ba169 66.79 (+0.02) 66.69 (+0.02) 66.60 (+0.02) 200.08 (+0.02)
e5cc2f 65.39 (-0.01) 65.40 (-0.03) 65.50 (+0.01) 196.30 (-0.01)
c6b56d 65.75 (+0.01) 67.18 (+0.03) 64.98 (-0.02) 197.90 (+0.00)
e067cd 65.19 (-0.01) 65.50 (-0.02) 66.40 (-0.02) 197.09 (-0.01)
bce423 65.73 (-0.00) 66.52 (-0.01) 67.79 (-0.01) 200.04 (-0.01)
bce423 65.99 (-0.01) 66.99 (+0.02) 68.49 (+0.03) 201.47 (+0.01)
c28bfd 66.87 (+0.02) 65.98 (-0.03) 66.61 (-0.02) 199.46 (-0.01)
95bf19 65.33 (-0.00) 67.72 (+0.01) 67.97 (-0.02) 201.02 (-0.00)
95bf19 65.57 (-0.01) 66.80 (-0.00) 69.40 (+0.07) 201.77 (+0.02)
080752 66.48 (+0.03) 67.02 (+0.01) 65.00 (-0.02) 198.50 (+0.01)
23d5e2 64.84 (-0.02) 66.51 (-0.01) 66.11 (+0.02) 197.46 (-0.01)
23d5e2 66.48 (+0.03) 67.31 (+0.06) 65.10 (+0.02) 198.89 (+0.04)
8b710b 64.60 (-0.02) 63.48 (-0.02) 63.92 (-0.04) 192.00 (-0.02)
8c6e60 65.63 (-0.01) 64.91 (-0.01) 66.26 (-0.01) 196.81 (-0.01)
10dae7 66.22 (-0.01) 65.78 (-0.00) 66.60 (-0.01) 198.59 (-0.01)
4c4d3d 66.98 (+0.01) 65.91 (+0.03) 67.39 (+0.04) 200.28 (+0.03)
9f94d0 66.13 (+0.03) 64.12 (-0.02) 64.57 (-0.02) 194.82 (-0.01)
9f94d0 64.40 (+0.07) 65.68 (+0.07) 65.92 (+0.06) 196.00 (+0.07)
9f94d0 60.00 (-0.01) 61.59 (+0.03) 62.10 (+0.02) 183.69 (+0.01)
c700c7 60.76 (-0.01) 60.00 (-0.03) 61.09 (-0.02) 181.85 (-0.02)
42c6dd 61.28 (-0.00) 61.73 (-0.02) 62.37 (-0.03) 185.38 (-0.02)
f6bf7b 61.55 (+0.01) 62.98 (+0.04) 64.12 (+0.07) 188.65 (+0.04)
1137b5 60.87 (-0.00) 60.27 (-0.02) 60.00 (-0.01) 181.15 (-0.01)
1468c6 61.01 (+0.01) 61.30 (+0.02) 60.52 (+0.01) 182.83 (+0.02)
1468c6 60.18 (+0.00) 59.98 (-0.03) 59.72 (-0.02) 179.88 (-0.01)
c01f92 59.97 (-0.02) 61.62 (+0.03) 60.99 (+0.03) 182.59 (+0.01)
7ff591 60.91 (+0.04) 59.99 (+0.02) 59.10 (-0.02) 180.00 (+0.01)
5d4774 58.57 (-0.12) 58.71 (-0.13) 60.07 (-0.10) 177.35 (-0.12)
56d8c2 66.28 (-0.02) 67.49 (+0.02) 66.88 (+0.00) 200.65 (+0.00)
12e6f4 67.69 (-0.00) 66.18 (+0.01) 66.73 (-0.01) 200.60 (-0.00)
12e6f4 67.91 (+0.03) 65.43 (-0.02) 67.49 (+0.03) 200.84 (+0.01)
61194a 66.11 (-0.13) 66.93 (-0.07) 65.59 (-0.14) 198.63 (-0.11)
70ce01 76.23 (+0.02) 71.71 (-0.03) 75.99 (+0.01) 223.93 (+0.00)
c04c20 74.49 (-0.02) 74.18 (-0.03) 75.09 (-0.02) 223.76 (-0.02)
827ee1 76.04 (-0.04) 76.19 (-0.03) 76.42 (+0.03) 228.66 (-0.01)
22ae67 78.86 (-0.00) 78.19 (+0.05) 74.10 (-0.02) 231.16 (+0.01)
0f4458 79.11 (+0.04) 74.18 (-0.00) 75.82 (-0.04) 229.11 (-0.00)
0f4458 76.36 (+0.02) 74.34 (+0.02) 78.69 (+0.01) 229.40 (+0.02)
0f4458 75.14 (+0.02) 72.71 (-0.02) 78.09 (+0.02) 225.94 (+0.00)
b8a566 73.95 (-0.02) 74.42 (+0.01) 76.57 (+0.01) 224.94 (-0.00)
b8a566 75.75 (+0.01) 73.42 (-0.00) 75.80 (+0.05) 224.96 (+0.02)
9747e9 75.16 (+0.01) 73.58 (+0.04) 72.30 (-0.03) 221.04 (+0.00)
b50e07 74.69 (+0.09) 70.99 (+0.05) 74.52 (+0.12) 220.19 (+0.08)
6a57d5 68.39 (-0.03) 67.88 (-0.04) 66.81 (-0.09) 203.08 (-0.06)
c0480f 70.38 (-0.06) 71.00 (-0.06) 73.70 (+0.02) 215.08 (-0.03)
4f443c 74.59 (+0.02) 75.26 (+0.02) 72.44 (-0.04) 222.30 (-0.00)
4f443c 73.03 (+0.01) 73.72 (+0.02) 75.70 (+0.09) 222.46 (+0.04)
788823 72.50 (-0.34) 72.11 (-0.34) 69.30 (-0.39) 213.91 (-0.36)
c21104 110.59 (+0.43) 108.79 (+0.41) 113.61 (+0.54) 332.99 (+0.46)
b9544a 77.59 (-0.03) 77.11 (+0.03) 73.78 (-0.03) 228.48 (-0.01)
33834c 79.74 (+0.16) 74.71 (-0.00) 75.81 (+0.06) 230.25 (+0.07)
521667 68.60 (-0.06) 74.79 (+0.05) 71.40 (+0.02) 214.79 (+0.01)
361648 72.67 (+0.01) 71.08 (-0.02) 69.73 (-0.03) 213.48 (-0.01)
fc0629 71.86 72.20 71.63 215.69

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query13]

platform: rds-aurora

revision Q13/1 Q13/2 Q13/3 total_duration
41aa62 102.02 (+0.00) 102.12 (+0.04) 99.19 (+0.00) 303.33 (+0.01)
7b5489 101.75 (-0.10) 98.42 (-0.10) 98.87 (-0.12) 299.05 (-0.11)
a23b07 113.15 (+0.14) 108.89 (+0.08) 112.30 (+0.11) 334.34 (+0.11)
cc2d00 98.93 (+0.04) 101.20 (+0.09) 101.40 (+0.08) 301.54 (+0.07)
ba9df2 94.81 (+0.17) 93.03 (+0.16) 93.90 (+0.17) 281.74 (+0.17)
a8f354 81.36 (+0.09) 80.19 (+0.09) 80.18 (+0.05) 241.74 (+0.08)
7feb0d 74.50 (-0.13) 73.82 (-0.16) 76.00 (-0.10) 224.33 (-0.13)
982fce 85.54 (+0.12) 88.01 (+0.15) 84.39 (+0.12) 257.94 (+0.13)
1f151d 76.16 (+0.05) 76.48 (-0.00) 75.38 (-0.01) 228.02 (+0.01)
ff1a1a 72.86 (-0.23) 76.80 (-0.16) 75.90 (-0.17) 225.56 (-0.19)
b1477b 95.15 (+0.04) 90.91 (+0.02) 91.19 (+0.04) 277.25 (+0.04)
1b947f 91.35 (-0.01) 88.80 (-0.06) 87.31 (-0.10) 267.46 (-0.06)
a21b55 92.53 (-0.03) 94.18 (-0.06) 96.79 (+0.01) 283.52 (-0.03)
4ba950 95.56 (+0.07) 100.69 (+0.18) 96.31 (+0.14) 292.56 (+0.13)
4e359d 89.23 (+0.05) 85.01 (+0.01) 84.27 (-0.00) 258.51 (+0.02)
3837fc 85.17 (+0.11) 83.80 (+0.10) 84.32 (+0.13) 253.28 (+0.11)
edcf4d 76.62 (+0.04) 76.29 (+0.06) 74.51 (+0.02) 227.43 (+0.04)
411c71 73.65 (-0.10) 72.19 (-0.11) 73.31 (-0.10) 219.16 (-0.11)
854348 82.17 (-0.03) 81.39 (+0.03) 81.77 (-0.03) 245.33 (-0.01)
7ba5c2 85.12 (+0.04) 79.09 (+0.02) 83.91 (+0.03) 248.12 (+0.03)
ebea29 82.20 (+0.01) 77.55 (-0.05) 81.49 (+0.03) 241.24 (-0.01)
22c890 81.66 (+0.01) 82.01 (+0.07) 79.18 (+0.01) 242.85 (+0.03)
f0b2e0 81.08 (+0.14) 76.37 (+0.06) 78.19 (+0.08) 235.64 (+0.09)
dec580 70.92 (-0.02) 72.22 (-0.04) 72.70 (-0.01) 215.84 (-0.02)
dec580 72.61 (-0.02) 75.30 (+0.05) 73.30 (+0.01) 221.22 (+0.01)
b1c2a6 74.47 (+0.04) 71.89 (+0.01) 72.88 (-0.01) 219.25 (+0.01)
931094 71.85 (+0.01) 71.07 (-0.03) 73.81 (+0.04) 216.73 (+0.01)
957acb 71.12 (-0.03) 73.20 (+0.03) 70.80 (-0.02) 215.12 (-0.01)
846532 72.98 (+0.05) 71.20 (-0.01) 72.27 (+0.04) 216.45 (+0.03)
d733bc 69.38 (-0.06) 71.79 (-0.01) 69.63 (-0.02) 210.81 (-0.03)
75ffe3 73.43 (+0.05) 72.20 (+0.02) 71.28 (+0.02) 216.91 (+0.03)
75ffe3 69.65 (-0.22) 71.12 (-0.22) 69.60 (-0.23) 210.38 (-0.22)
bf4623 89.83 (-0.00) 90.79 (+0.05) 90.22 (-0.01) 270.84 (+0.01)
b26c83 90.26 (+0.00) 86.41 (-0.00) 91.05 (+0.01) 267.71 (+0.00)
9d714a 89.91 (+0.02) 86.82 (-0.01) 90.21 (+0.04) 266.93 (+0.02)
6efea4 88.05 (+0.01) 87.46 (+0.01) 86.75 (-0.04) 262.26 (-0.01)
4071ff 86.81 (-0.03) 86.87 (-0.07) 90.33 (-0.00) 264.01 (-0.04)
4071ff 89.87 (+0.05) 93.60 (+0.07) 90.39 (+0.03) 273.86 (+0.05)
870ba4 85.22 (-0.04) 87.11 (-0.03) 87.68 (-0.05) 260.00 (-0.04)
f5ca89 88.34 (-0.03) 89.80 (+0.02) 92.17 (+0.04) 270.31 (+0.01)
8bd565 90.88 (+0.05) 88.39 (-0.04) 88.98 (+0.02) 268.25 (+0.01)
dd22c8 86.46 (-0.07) 91.71 (+0.01) 87.00 (+0.02) 265.18 (-0.02)
299db9 93.41 (+0.03) 91.10 (+0.03) 85.61 (-0.04) 270.12 (+0.01)
93f3f4 90.53 (+0.01) 88.13 (-0.01) 88.89 (-0.01) 267.56 (-0.00)
f6e2e0 89.78 (-0.03) 89.00 (+0.02) 89.71 (+0.00) 268.49 (-0.00)
f6e2e0 92.50 (-0.02) 87.09 (-0.03) 89.61 (+0.01) 269.20 (-0.01)
f6e2e0 94.16 (+0.04) 89.52 (+0.01) 88.71 (-0.01) 272.40 (+0.02)
f1d960 90.73 (-0.01) 88.22 (-0.03) 89.40 (-0.03) 268.35 (-0.02)
4a9279 91.33 (+0.00) 90.90 (+0.05) 92.00 (+0.05) 274.23 (+0.03)
2e4bf7 91.20 (+0.02) 86.45 (-0.02) 87.30 (-0.02) 264.96 (-0.00)
ce8fbb 89.03 (+0.03) 88.47 (-0.04) 88.71 (-0.04) 266.22 (-0.02)
ce8fbb 86.17 (+0.01) 92.51 (+0.04) 92.78 (+0.04) 271.45 (+0.03)
ce8fbb 85.02 (-0.03) 89.30 (+0.01) 88.99 (+0.04) 263.31 (+0.01)
d1a0f2 87.49 (-0.02) 88.66 (-0.01) 85.72 (-0.05) 261.87 (-0.02)
ccf92d 88.95 (+0.03) 89.43 (+0.05) 90.06 (+0.02) 268.45 (+0.03)
02b8e0 86.02 (+0.01) 85.31 (-0.00) 88.13 (+0.04) 259.45 (+0.02)
7b9057 84.96 (-0.04) 85.41 (-0.01) 84.80 (-0.01) 255.17 (-0.02)
9cada8 88.53 (-0.01) 85.91 (+0.00) 85.61 (-0.00) 260.06 (-0.00)
9cada8 89.05 (-0.04) 85.49 (-0.04) 85.67 (-0.06) 260.22 (-0.04)
9cada8 92.77 (+0.03) 88.61 (+0.03) 90.89 (+0.02) 272.27 (+0.03)
a60f68 89.73 (+0.03) 86.40 (-0.02) 88.89 (+0.02) 265.02 (+0.01)
d19c52 86.82 (-0.03) 88.38 (+0.00) 86.83 (-0.06) 262.04 (-0.03)
000eb1 89.45 (-0.04) 88.28 (-0.01) 92.01 (+0.02) 269.74 (-0.01)
000eb1 93.13 (+0.07) 89.40 (-0.00) 90.00 (+0.04) 272.54 (+0.04)
f51b48 86.75 (-0.01) 89.70 (+0.01) 86.54 (+0.02) 262.99 (+0.00)
f51b48 88.04 (+0.01) 88.98 (-0.01) 84.89 (-0.02) 261.91 (-0.01)
f51b48 87.31 (+0.01) 90.11 (+0.02) 86.32 (-0.02) 263.75 (+0.01)
9f906f 86.36 (+0.05) 88.26 (+0.03) 87.81 (+0.07) 262.44 (+0.05)
0692ff 82.27 (+0.02) 85.57 (+0.10) 81.99 (+0.10) 249.83 (+0.07)
2caece 80.98 (+0.04) 77.70 (-0.05) 74.60 (-0.11) 233.27 (-0.04)
bc7d3c 77.87 (-0.07) 81.68 (+0.01) 83.60 (+0.02) 243.15 (-0.01)
2153d2 83.65 (+0.02) 80.59 (-0.02) 81.63 (+0.04) 245.87 (+0.01)
2153d2 81.76 (+0.02) 81.91 (+0.07) 78.69 (-0.02) 242.37 (+0.02)
2153d2 80.42 (+0.00) 76.68 (-0.06) 79.91 (+0.02) 237.02 (-0.02)
a1b062 80.34 (+0.02) 82.00 (-0.00) 78.72 (-0.02) 241.06 (-0.00)
1d9d7c 78.74 (-0.05) 82.33 (+0.00) 80.46 (-0.01) 241.53 (-0.02)
3569c1 83.08 (+0.02) 82.29 (-0.02) 81.08 (+0.00) 246.45 (+0.00)
eaff14 81.18 (+0.01) 83.60 (+0.04) 80.68 (+0.00) 245.46 (+0.02)
f383b4 80.50 (-0.02) 80.24 (-0.04) 80.47 (-0.00) 241.22 (-0.02)
f383b4 82.55 (+0.06) 83.98 (+0.06) 80.64 (-0.03) 247.17 (+0.03)
f383b4 77.89 (-0.00) 79.38 (+0.04) 83.18 (+0.04) 240.46 (+0.02)
a4256b 77.95 (+0.01) 76.50 (-0.01) 80.32 (-0.01) 234.77 (-0.00)
371493 77.33 (+0.01) 77.30 (-0.02) 80.93 (+0.04) 235.57 (+0.01)
c5c143 76.66 (-0.04) 79.20 (+0.06) 77.45 (-0.03) 233.32 (-0.00)
58fa4f 79.63 (+0.04) 74.71 (-0.08) 80.12 (+0.03) 234.46 (-0.00)
121d53 76.30 (-0.06) 81.38 (+0.04) 77.83 (-0.04) 235.51 (-0.02)
121d53 80.95 (+0.03) 78.12 (-0.01) 80.79 (+0.03) 239.87 (+0.02)
ec3a3a 78.55 (+0.02) 79.30 (+0.01) 78.08 (-0.03) 235.94 (-0.00)
96e783 77.29 (+0.04) 78.70 (+0.01) 80.28 (+0.08) 236.27 (+0.04)
567b71 74.14 (-0.06) 78.30 (+0.01) 74.22 (-0.05) 226.67 (-0.03)
847fc5 78.73 (+0.03) 77.48 (-0.03) 78.23 (+0.00) 234.44 (-0.00)
5e08b3 76.46 (+0.02) 80.01 (+0.06) 78.18 (+0.03) 234.65 (+0.04)
4d291d 74.64 (-0.00) 75.60 (-0.02) 76.01 (+0.02) 226.25 (-0.00)
4d291d 74.93 (-0.02) 76.78 (+0.04) 74.63 (-0.04) 226.35 (-0.01)
bf63f1 76.59 (+0.05) 73.51 (-0.03) 77.80 (+0.06) 227.90 (+0.03)
0a0958 73.26 (-0.02) 75.61 (-0.01) 73.19 (-0.02) 222.06 (-0.02)
aabca5 74.94 (-0.03) 76.21 (+0.01) 74.42 (+0.00) 225.57 (-0.01)
a4be54 77.35 (+0.04) 75.49 (+0.05) 74.41 (+0.06) 227.25 (+0.05)
a3d7ad 74.62 (+0.04) 71.59 (+0.04) 70.41 (-0.02) 216.61 (+0.02)
a3d7ad 71.94 (-0.02) 68.77 (-0.05) 71.60 (-0.03) 212.31 (-0.03)
8ba169 73.26 (+0.01) 72.01 (+0.06) 73.70 (+0.08) 218.98 (+0.05)
e5cc2f 72.75 (+0.04) 68.20 (-0.01) 68.40 (-0.02) 209.35 (+0.01)
c6b56d 69.80 (-0.02) 68.78 (+0.00) 69.71 (+0.01) 208.29 (-0.00)
e067cd 71.21 (+0.01) 68.70 (-0.01) 69.29 (-0.03) 209.21 (-0.01)
bce423 70.57 (-0.00) 69.58 (+0.01) 71.39 (+0.03) 211.54 (+0.01)
bce423 70.73 (+0.04) 69.20 (-0.01) 69.03 (-0.01) 208.96 (+0.00)
c28bfd 68.23 (-0.04) 69.99 (-0.00) 69.92 (-0.00) 208.15 (-0.01)
95bf19 70.97 (+0.00) 69.99 (+0.03) 70.00 (+0.01) 210.96 (+0.02)
95bf19 70.81 (+0.05) 67.64 (-0.05) 69.18 (-0.01) 207.63 (-0.01)
080752 67.36 (-0.02) 71.31 (+0.06) 70.20 (+0.01) 208.88 (+0.01)
23d5e2 69.03 (-0.01) 67.53 (-0.02) 69.67 (+0.02) 206.24 (-0.00)
23d5e2 69.44 (-0.01) 68.99 (+0.01) 68.44 (+0.01) 206.86 (+0.00)
8b710b 70.44 (-0.02) 68.41 (+0.01) 67.51 (-0.00) 206.36 (-0.01)
8c6e60 71.78 (+0.04) 68.02 (-0.03) 67.69 (-0.06) 207.49 (-0.02)
10dae7 68.71 (+0.00) 70.39 (+0.00) 72.04 (+0.06) 211.14 (+0.02)
4c4d3d 68.55 (+0.00) 70.10 (-0.03) 67.91 (-0.01) 206.57 (-0.01)
9f94d0 68.26 (-0.04) 72.49 (+0.09) 68.71 (+0.02) 209.46 (+0.02)
9f94d0 71.24 (+0.10) 66.69 (+0.05) 67.22 (+0.05) 205.15 (+0.07)
9f94d0 64.94 (-0.00) 63.23 (-0.00) 63.96 (+0.01) 192.14 (+0.00)
c700c7 65.15 (+0.01) 63.48 (+0.00) 63.24 (-0.01) 191.88 (+0.00)
42c6dd 64.38 (-0.01) 63.48 (-0.01) 63.93 (-0.00) 191.80 (-0.01)
f6bf7b 65.35 (+0.02) 64.29 (-0.01) 64.01 (+0.00) 193.65 (+0.00)
1137b5 64.33 (-0.00) 64.89 (-0.01) 63.79 (-0.00) 193.02 (-0.00)
1468c6 64.45 (+0.01) 65.29 (-0.00) 63.99 (+0.01) 193.74 (+0.00)
1468c6 63.97 (-0.02) 65.31 (+0.04) 63.59 (+0.01) 192.87 (+0.01)
c01f92 64.95 (+0.05) 62.91 (+0.00) 62.71 (-0.02) 190.57 (+0.01)
7ff591 61.77 (-0.02) 62.90 (+0.03) 64.20 (+0.05) 188.87 (+0.02)
5d4774 62.86 (-0.09) 61.21 (-0.11) 60.90 (-0.12) 184.98 (-0.11)
56d8c2 69.24 (+0.00) 68.61 (-0.01) 69.58 (+0.02) 207.43 (+0.00)
12e6f4 69.16 (+0.01) 69.51 (-0.02) 68.19 (-0.01) 206.87 (-0.00)
12e6f4 68.38 (+0.00) 70.57 (-0.02) 68.70 (-0.00) 207.66 (-0.01)
61194a 68.10 (-0.12) 71.91 (-0.10) 68.80 (-0.11) 208.80 (-0.11)
70ce01 77.19 (-0.00) 79.62 (+0.01) 77.47 (-0.01) 234.28 (+0.00)
c04c20 77.27 (-0.02) 78.58 (+0.00) 78.38 (+0.03) 234.23 (+0.01)
827ee1 78.75 (-0.03) 78.39 (-0.05) 75.79 (-0.02) 232.92 (-0.03)
22ae67 81.38 (+0.04) 82.19 (+0.03) 77.49 (-0.02) 241.06 (+0.02)
0f4458 78.28 (-0.00) 80.10 (+0.02) 79.06 (+0.01) 237.44 (+0.01)
0f4458 78.31 (-0.02) 78.50 (+0.05) 78.51 (+0.00) 235.33 (+0.01)
0f4458 79.94 (+0.05) 74.96 (-0.03) 78.42 (-0.00) 233.33 (+0.01)
b8a566 75.79 (-0.06) 77.28 (-0.01) 78.60 (+0.03) 231.67 (-0.01)
b8a566 80.21 (+0.03) 78.21 (-0.01) 76.51 (-0.02) 234.94 (-0.00)
9747e9 78.16 (+0.03) 79.31 (+0.03) 78.04 (+0.08) 235.51 (+0.04)
b50e07 75.90 (+0.04) 77.08 (-0.13) 72.41 (+0.01) 225.39 (-0.03)
6a57d5 72.78 (-0.03) 88.13 (+0.16) 71.40 (-0.06) 232.31 (+0.02)
c0480f 74.91 (-0.05) 76.30 (-0.00) 75.59 (-0.03) 226.80 (-0.03)
4f443c 78.73 (+0.05) 76.61 (+0.00) 78.13 (+0.01) 233.46 (+0.02)
4f443c 75.01 (-0.02) 76.59 (+0.01) 77.48 (+0.03) 229.08 (+0.01)
788823 76.86 (-0.33) 76.13 (-0.34) 74.88 (-0.34) 227.87 (-0.33)
c21104 114.08 (+0.46) 114.83 (+0.47) 113.47 (+0.45) 342.39 (+0.46)
b9544a 78.08 (-0.02) 77.86 (-0.01) 78.41 (+0.01) 234.36 (-0.01)
33834c 79.90 (+0.12) 78.88 (+0.08) 77.93 (+0.09) 236.70 (+0.10)
521667 71.16 (-0.02) 73.33 (-0.03) 71.59 (-0.04) 216.08 (-0.03)
361648 72.95 (+0.03) 75.21 (+0.00) 74.92 (-0.00) 223.08 (+0.01)
fc0629 71.09 74.98 75.21 221.28

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query14]

platform: rds-aurora

revision Q14/1 Q14/2 Q14/3 total_duration
41aa62 98.80 (-0.00) 101.32 (+0.06) 100.30 (+0.03) 300.43 (+0.03)
7b5489 99.08 (-0.13) 95.48 (-0.12) 97.70 (-0.12) 292.27 (-0.12)
a23b07 113.38 (+0.14) 108.89 (+0.08) 111.59 (+0.13) 333.87 (+0.12)
cc2d00 99.13 (+0.05) 100.42 (+0.10) 98.68 (+0.09) 298.23 (+0.08)
ba9df2 94.30 (+0.17) 91.31 (+0.17) 90.32 (+0.15) 275.93 (+0.16)
a8f354 80.82 (+0.07) 78.01 (+0.04) 78.30 (+0.03) 237.13 (+0.05)
7feb0d 75.51 (-0.11) 74.72 (-0.12) 75.78 (-0.07) 226.01 (-0.10)
982fce 84.58 (+0.18) 84.48 (+0.14) 81.23 (+0.05) 250.29 (+0.12)
1f151d 71.88 (-0.01) 74.31 (+0.05) 77.49 (+0.08) 223.67 (+0.04)
ff1a1a 72.66 (-0.19) 70.50 (-0.23) 71.50 (-0.18) 214.66 (-0.20)
b1477b 90.17 (+0.05) 91.19 (+0.04) 87.40 (+0.04) 268.76 (+0.04)
1b947f 85.94 (-0.05) 87.71 (-0.06) 84.29 (-0.09) 257.94 (-0.07)
a21b55 90.64 (-0.05) 92.98 (-0.03) 92.81 (-0.05) 276.44 (-0.04)
4ba950 95.47 (+0.16) 96.13 (+0.18) 97.40 (+0.13) 289.00 (+0.16)
4e359d 82.00 (+0.01) 81.74 (+0.05) 86.16 (+0.05) 249.91 (+0.04)
3837fc 80.90 (+0.12) 77.94 (+0.07) 81.69 (+0.08) 240.53 (+0.09)
edcf4d 72.35 (-0.03) 72.52 (-0.07) 75.90 (+0.02) 220.77 (-0.03)
411c71 74.74 (-0.05) 77.90 (-0.07) 74.32 (-0.11) 226.96 (-0.08)
854348 78.88 (-0.01) 83.99 (+0.08) 83.30 (-0.02) 246.18 (+0.02)
7ba5c2 79.65 (+0.03) 77.69 (+0.01) 85.10 (+0.08) 242.45 (+0.04)
ebea29 77.13 (-0.04) 77.09 (-0.00) 78.81 (+0.06) 233.03 (+0.01)
22c890 80.02 (+0.05) 77.19 (-0.02) 74.51 (-0.05) 231.72 (-0.00)
f0b2e0 76.17 (+0.10) 78.52 (+0.13) 78.06 (+0.09) 232.75 (+0.10)
dec580 69.55 (-0.02) 69.69 (-0.03) 71.87 (+0.00) 211.11 (-0.01)
dec580 70.68 (+0.00) 71.74 (+0.02) 71.71 (-0.00) 214.13 (+0.01)
b1c2a6 70.46 (+0.01) 70.20 (+0.01) 72.01 (+0.01) 212.67 (+0.01)
931094 69.64 (+0.01) 69.19 (+0.00) 71.41 (+0.04) 210.24 (+0.02)
957acb 68.82 (-0.02) 69.08 (+0.00) 68.79 (+0.02) 206.70 (-0.00)
846532 70.14 (+0.01) 68.90 (-0.02) 67.73 (-0.02) 206.76 (-0.01)
d733bc 69.14 (-0.02) 70.48 (+0.01) 68.83 (-0.02) 208.45 (-0.01)
75ffe3 70.72 (+0.03) 69.81 (+0.02) 70.48 (+0.04) 211.01 (+0.03)
75ffe3 68.61 (-0.20) 68.32 (-0.27) 67.72 (-0.22) 204.65 (-0.23)
bf4623 85.55 (-0.08) 92.98 (+0.02) 86.40 (+0.02) 264.93 (-0.01)
b26c83 92.98 (+0.02) 90.89 (+0.02) 84.73 (-0.05) 268.60 (-0.00)
9d714a 90.95 (+0.10) 89.06 (+0.00) 89.13 (-0.02) 269.13 (+0.03)
6efea4 82.32 (+0.01) 88.82 (+0.07) 91.29 (+0.04) 262.44 (+0.04)
4071ff 81.34 (-0.09) 82.90 (-0.10) 88.09 (+0.02) 252.34 (-0.06)
4071ff 89.15 (+0.07) 92.10 (+0.05) 86.70 (+0.00) 267.95 (+0.04)
870ba4 83.54 (-0.04) 87.51 (-0.00) 86.69 (-0.06) 257.74 (-0.03)
f5ca89 87.18 (-0.04) 87.79 (+0.02) 92.00 (+0.08) 266.97 (+0.02)
8bd565 90.56 (+0.06) 86.18 (-0.05) 85.00 (-0.03) 261.74 (-0.01)
dd22c8 85.14 (+0.01) 90.80 (+0.01) 87.40 (+0.02) 263.35 (+0.01)
299db9 83.95 (-0.06) 89.50 (+0.05) 86.07 (+0.02) 259.53 (+0.00)
93f3f4 89.33 (+0.02) 85.11 (+0.01) 84.68 (-0.02) 259.12 (+0.00)
f6e2e0 87.55 (+0.01) 84.50 (+0.00) 86.71 (+0.04) 258.76 (+0.01)
f6e2e0 87.00 (-0.04) 84.50 (-0.01) 83.55 (-0.03) 255.05 (-0.03)
f6e2e0 90.43 (+0.04) 85.68 (-0.04) 86.20 (+0.00) 262.31 (-0.00)
f1d960 86.95 (-0.00) 89.48 (+0.05) 86.11 (-0.03) 262.54 (+0.00)
4a9279 87.07 (+0.02) 85.62 (+0.02) 89.21 (+0.06) 261.90 (+0.03)
2e4bf7 85.30 (-0.01) 84.12 (-0.03) 84.48 (+0.00) 253.90 (-0.01)
ce8fbb 85.85 (-0.01) 87.12 (+0.05) 84.20 (-0.01) 257.17 (+0.01)
ce8fbb 86.73 (-0.01) 83.14 (+0.02) 85.36 (+0.03) 255.23 (+0.02)
ce8fbb 87.17 (+0.01) 81.38 (-0.07) 82.60 (-0.05) 251.16 (-0.04)
d1a0f2 86.36 (-0.03) 87.80 (+0.03) 86.98 (-0.00) 261.13 (+0.00)
ccf92d 88.79 (+0.04) 85.28 (+0.04) 86.99 (+0.01) 261.06 (+0.03)
02b8e0 85.60 (+0.01) 82.09 (-0.02) 85.93 (+0.02) 253.61 (+0.00)
7b9057 84.83 (-0.02) 83.57 (-0.01) 83.99 (+0.00) 252.40 (-0.01)
9cada8 86.75 (+0.03) 84.18 (-0.03) 83.62 (-0.01) 254.55 (-0.01)
9cada8 84.25 (-0.06) 87.18 (-0.03) 84.40 (-0.03) 255.84 (-0.04)
9cada8 89.27 (+0.01) 90.09 (-0.00) 86.89 (+0.01) 266.25 (+0.01)
a60f68 88.06 (+0.08) 90.33 (+0.11) 86.29 (-0.00) 264.67 (+0.06)
d19c52 81.92 (-0.09) 81.61 (-0.02) 86.59 (+0.02) 250.11 (-0.03)
000eb1 89.55 (+0.01) 83.51 (-0.08) 85.28 (-0.03) 258.34 (-0.04)
000eb1 88.56 (+0.02) 91.11 (+0.04) 88.08 (+0.02) 267.75 (+0.03)
f51b48 86.52 (+0.05) 87.63 (-0.02) 86.10 (+0.01) 260.25 (+0.01)
f51b48 82.23 (-0.02) 89.29 (+0.07) 85.10 (+0.01) 256.61 (+0.02)
f51b48 83.71 (-0.04) 83.22 (+0.01) 84.17 (-0.01) 251.11 (-0.01)
9f906f 86.77 (+0.11) 82.47 (+0.01) 85.29 (+0.07) 254.54 (+0.06)
0692ff 77.86 (+0.01) 81.91 (+0.09) 79.46 (+0.06) 239.23 (+0.05)
2caece 76.82 (-0.04) 75.19 (-0.01) 75.21 (-0.06) 227.22 (-0.04)
bc7d3c 80.23 (-0.03) 75.84 (-0.08) 80.17 (-0.04) 236.25 (-0.05)
2153d2 82.70 (+0.05) 82.42 (+0.05) 83.29 (+0.06) 248.41 (+0.05)
2153d2 78.73 (+0.02) 78.31 (+0.01) 78.61 (+0.04) 235.65 (+0.03)
2153d2 76.97 (+0.02) 77.38 (-0.01) 75.51 (+0.01) 229.85 (+0.01)
a1b062 75.70 (-0.04) 77.90 (-0.00) 74.91 (-0.06) 228.51 (-0.04)
1d9d7c 79.07 (-0.01) 78.28 (-0.03) 79.52 (+0.03) 236.88 (-0.00)
3569c1 79.66 (+0.05) 80.50 (+0.01) 77.29 (-0.01) 237.44 (+0.02)
eaff14 75.65 (-0.03) 79.99 (+0.01) 77.80 (-0.03) 233.43 (-0.02)
f383b4 78.26 (+0.02) 79.30 (-0.02) 80.20 (+0.02) 237.76 (+0.01)
f383b4 76.44 (-0.04) 80.51 (-0.05) 78.30 (-0.03) 235.25 (-0.04)
f383b4 79.57 (+0.01) 84.50 (+0.10) 80.99 (+0.05) 245.06 (+0.05)
a4256b 79.15 (+0.04) 76.62 (+0.02) 77.38 (+0.03) 233.14 (+0.03)
371493 75.82 (+0.00) 75.01 (-0.03) 74.89 (+0.03) 225.72 (-0.00)
c5c143 75.65 (-0.04) 77.61 (+0.06) 72.71 (-0.08) 225.97 (-0.02)
58fa4f 79.01 (+0.08) 72.90 (-0.01) 78.62 (+0.01) 230.53 (+0.03)
121d53 73.45 (-0.01) 73.27 (-0.05) 77.60 (+0.00) 224.32 (-0.02)
121d53 74.56 (-0.01) 76.86 (+0.04) 77.53 (+0.00) 228.94 (+0.01)
ec3a3a 75.65 (-0.02) 73.99 (-0.04) 77.32 (+0.00) 226.96 (-0.02)
96e783 77.28 (+0.05) 77.30 (+0.06) 77.01 (+0.02) 231.59 (+0.05)
567b71 73.35 (-0.01) 72.80 (-0.06) 75.37 (-0.00) 221.51 (-0.02)
847fc5 74.22 (+0.00) 77.10 (+0.01) 75.61 (+0.00) 226.93 (+0.01)
5e08b3 73.94 (-0.03) 76.00 (+0.04) 75.31 (+0.03) 225.26 (+0.01)
4d291d 75.93 (-0.01) 73.30 (-0.00) 72.78 (-0.03) 222.01 (-0.02)
4d291d 76.81 (+0.06) 73.64 (-0.03) 75.08 (+0.02) 225.53 (+0.02)
bf63f1 72.44 (-0.04) 75.79 (+0.04) 73.27 (-0.00) 221.49 (-0.00)
0a0958 75.63 (-0.00) 72.72 (-0.02) 73.60 (-0.03) 221.95 (-0.01)
aabca5 75.66 (-0.03) 74.07 (-0.00) 75.60 (-0.01) 225.32 (-0.01)
a4be54 77.70 (+0.12) 74.10 (+0.05) 76.61 (+0.10) 228.41 (+0.09)
a3d7ad 69.08 (-0.00) 70.39 (+0.04) 69.78 (+0.05) 209.25 (+0.03)
a3d7ad 69.34 (-0.01) 67.70 (-0.02) 66.52 (-0.08) 203.56 (-0.04)
8ba169 69.74 (+0.04) 69.32 (+0.02) 71.99 (+0.02) 211.04 (+0.03)
e5cc2f 66.86 (+0.00) 68.10 (-0.01) 70.29 (+0.06) 205.25 (+0.02)
c6b56d 66.57 (-0.05) 68.80 (+0.01) 66.11 (+0.00) 201.48 (-0.01)
e067cd 70.41 (+0.04) 67.99 (-0.02) 66.09 (-0.01) 204.48 (+0.00)
bce423 67.42 (-0.04) 69.61 (-0.01) 66.58 (-0.00) 203.61 (-0.02)
bce423 69.93 (+0.06) 70.30 (+0.06) 66.81 (+0.00) 207.04 (+0.04)
c28bfd 66.05 (-0.03) 66.07 (-0.03) 66.79 (-0.01) 198.91 (-0.02)
95bf19 68.42 (+0.02) 67.79 (+0.00) 67.72 (+0.02) 203.93 (+0.02)
95bf19 66.99 (+0.00) 67.47 (-0.01) 66.13 (-0.02) 200.59 (-0.01)
080752 66.78 (+0.01) 68.27 (+0.01) 67.14 (+0.02) 202.19 (+0.01)
23d5e2 66.33 (+0.00) 67.37 (+0.03) 65.73 (-0.02) 199.43 (+0.00)
23d5e2 66.07 (+0.01) 65.66 (-0.05) 67.41 (-0.01) 199.14 (-0.02)
8b710b 65.57 (-0.06) 68.86 (+0.01) 68.04 (+0.02) 202.47 (-0.01)
8c6e60 69.46 (+0.03) 68.39 (+0.01) 66.92 (-0.01) 204.78 (+0.01)
10dae7 67.72 (-0.01) 67.40 (-0.02) 67.29 (+0.00) 202.41 (-0.01)
4c4d3d 68.20 (+0.04) 68.79 (+0.02) 67.04 (-0.02) 204.03 (+0.01)
9f94d0 65.68 (-0.04) 67.30 (+0.00) 68.69 (+0.05) 201.68 (+0.00)
9f94d0 68.36 (+0.08) 67.19 (+0.06) 65.52 (+0.07) 201.07 (+0.07)
9f94d0 63.28 (+0.02) 63.11 (-0.02) 61.39 (-0.03) 187.78 (-0.01)
c700c7 61.84 (-0.02) 64.60 (+0.01) 63.40 (+0.00) 189.84 (-0.00)
42c6dd 63.36 (-0.00) 63.78 (-0.01) 63.32 (-0.01) 190.46 (-0.01)
f6bf7b 63.60 (+0.02) 64.18 (+0.04) 63.99 (+0.02) 191.77 (+0.03)
1137b5 62.07 (+0.01) 61.70 (-0.01) 62.69 (-0.01) 186.46 (-0.00)
1468c6 61.60 (+0.02) 62.38 (+0.02) 63.41 (+0.02) 187.40 (+0.02)
1468c6 60.25 (-0.03) 61.12 (-0.04) 62.09 (+0.01) 183.46 (-0.02)
c01f92 62.18 (+0.01) 63.81 (+0.04) 61.57 (+0.00) 187.56 (+0.02)
7ff591 61.70 (+0.05) 61.08 (+0.02) 61.51 (+0.02) 184.29 (+0.03)
5d4774 58.64 (-0.14) 59.81 (-0.12) 60.32 (-0.14) 178.78 (-0.13)
56d8c2 68.56 (-0.01) 67.98 (-0.03) 69.81 (+0.04) 206.35 (-0.00)
12e6f4 69.35 (+0.03) 70.20 (-0.02) 67.00 (-0.00) 206.56 (+0.00)
12e6f4 67.57 (+0.01) 71.37 (+0.05) 67.03 (-0.05) 205.97 (+0.00)
61194a 66.95 (-0.11) 67.70 (-0.15) 70.91 (-0.08) 205.55 (-0.11)
70ce01 74.82 (-0.05) 79.22 (+0.05) 76.87 (-0.00) 230.91 (-0.00)
c04c20 78.52 (+0.00) 75.59 (-0.02) 76.92 (-0.02) 231.03 (-0.01)
827ee1 78.25 (-0.00) 76.78 (-0.01) 78.51 (-0.00) 233.55 (-0.00)
22ae67 78.47 (+0.02) 77.39 (-0.01) 78.68 (+0.01) 234.54 (+0.01)
0f4458 77.29 (-0.01) 78.12 (-0.01) 77.78 (+0.02) 233.19 (-0.00)
0f4458 78.46 (+0.01) 78.61 (+0.00) 76.20 (+0.01) 233.28 (+0.01)
0f4458 77.47 (-0.01) 78.29 (+0.01) 75.21 (+0.01) 230.98 (+0.00)
b8a566 78.21 (+0.01) 77.70 (-0.02) 74.32 (-0.02) 230.24 (-0.01)
b8a566 77.52 (-0.01) 79.51 (+0.03) 75.81 (-0.03) 232.84 (-0.00)
9747e9 78.60 (+0.06) 77.01 (+0.04) 78.00 (+0.05) 233.62 (+0.05)
b50e07 74.40 (+0.09) 73.78 (+0.04) 74.52 (+0.08) 222.71 (+0.07)
6a57d5 68.29 (-0.09) 70.99 (-0.01) 69.21 (-0.09) 208.50 (-0.07)
c0480f 74.81 (+0.01) 72.03 (-0.06) 76.37 (+0.00) 223.22 (-0.02)
4f443c 73.94 (-0.00) 76.79 (+0.02) 76.32 (+0.05) 227.05 (+0.02)
4f443c 74.29 (+0.05) 75.32 (-0.00) 72.87 (-0.00) 222.48 (+0.01)
788823 71.03 (-0.39) 75.38 (-0.36) 73.12 (-0.37) 219.54 (-0.37)
c21104 115.61 (+0.54) 118.30 (+0.57) 116.69 (+0.52) 350.60 (+0.54)
b9544a 75.12 (-0.01) 75.48 (-0.05) 76.82 (+0.00) 227.42 (-0.02)
33834c 75.79 (-0.00) 79.32 (+0.08) 76.77 (+0.04) 231.89 (+0.04)
521667 76.01 (+0.08) 73.21 (+0.05) 73.99 (+0.04) 223.21 (+0.06)
361648 70.17 (-0.03) 69.90 (-0.03) 71.22 (-0.00) 211.30 (-0.02)
fc0629 72.01 71.72 71.57 215.31

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query15]

platform: rds-aurora

revision Q15/1 Q15/2 Q15/3 total_duration
41aa62 26.88 (-0.02) 24.69 (-0.04) 28.10 (-0.04) 79.68 (-0.03)
7b5489 27.51 (-0.05) 25.63 (-0.12) 29.37 (-0.02) 82.52 (-0.06)
a23b07 29.03 (+0.12) 29.19 (+0.05) 29.98 (+0.05) 88.20 (+0.07)
cc2d00 25.97 (+0.01) 27.80 (+0.02) 28.59 (+0.11) 82.36 (+0.05)
ba9df2 25.73 (+0.11) 27.14 (+0.18) 25.85 (+0.07) 78.72 (+0.12)
a8f354 23.12 (+0.08) 22.95 (-0.01) 24.05 (+0.04) 70.13 (+0.04)
7feb0d 21.47 (-0.15) 23.10 (-0.08) 23.08 (-0.07) 67.65 (-0.10)
982fce 25.31 (+0.12) 25.04 (+0.07) 24.87 (+0.18) 75.22 (+0.12)
1f151d 22.63 (-0.02) 23.30 (+0.08) 21.13 (-0.08) 67.07 (-0.01)
ff1a1a 23.14 (-0.16) 21.48 (-0.17) 22.88 (-0.19) 67.51 (-0.17)
b1477b 27.46 (+0.11) 25.80 (-0.03) 28.38 (+0.17) 81.64 (+0.08)
1b947f 24.75 (-0.05) 26.58 (-0.03) 24.33 (-0.04) 75.66 (-0.04)
a21b55 26.13 (-0.14) 27.29 (-0.02) 25.32 (-0.05) 78.74 (-0.07)
4ba950 30.29 (+0.25) 27.72 (+0.08) 26.69 (+0.10) 84.70 (+0.14)
4e359d 24.18 (-0.02) 25.59 (+0.07) 24.31 (-0.02) 74.08 (+0.01)
3837fc 24.65 (+0.07) 23.98 (+0.08) 24.81 (+0.16) 73.45 (+0.10)
edcf4d 23.12 (+0.06) 22.29 (+0.07) 21.33 (+0.02) 66.74 (+0.05)
411c71 21.82 (-0.07) 20.80 (-0.12) 21.00 (-0.15) 63.63 (-0.11)
854348 23.44 (-0.03) 23.70 (-0.06) 24.61 (+0.04) 71.74 (-0.02)
7ba5c2 24.25 (+0.05) 25.09 (+0.21) 23.64 (-0.03) 72.97 (+0.07)
ebea29 23.16 (-0.01) 20.80 (-0.08) 24.39 (+0.19) 68.36 (+0.03)
22c890 23.43 (+0.09) 22.68 (-0.03) 20.43 (-0.14) 66.54 (-0.03)
f0b2e0 21.56 (-0.00) 23.34 (+0.15) 23.70 (+0.03) 68.59 (+0.06)
dec580 21.57 (-0.03) 20.23 (-0.08) 22.98 (+0.10) 64.78 (-0.00)
dec580 22.19 (+0.05) 22.02 (+0.07) 20.88 (-0.05) 65.10 (+0.02)
b1c2a6 21.23 (-0.01) 20.60 (-0.05) 22.02 (+0.02) 63.85 (-0.01)
931094 21.44 (-0.03) 21.68 (+0.10) 21.61 (+0.03) 64.73 (+0.03)
957acb 22.15 (-0.00) 19.62 (-0.07) 20.97 (+0.01) 62.75 (-0.02)
846532 22.25 (+0.02) 21.10 (+0.02) 20.70 (-0.04) 64.05 (-0.00)
d733bc 21.89 (+0.10) 20.59 (-0.05) 21.63 (+0.02) 64.11 (+0.02)
75ffe3 19.95 (+0.04) 21.69 (+0.03) 21.30 (+0.03) 62.94 (+0.03)
75ffe3 19.22 (-0.29) 21.01 (-0.16) 20.72 (-0.23) 60.95 (-0.23)
bf4623 27.06 (-0.01) 24.90 (-0.03) 27.01 (-0.00) 78.97 (-0.01)
b26c83 27.25 (+0.03) 25.80 (-0.09) 27.10 (+0.06) 80.15 (-0.00)
9d714a 26.57 (-0.06) 28.40 (+0.19) 25.48 (-0.08) 80.46 (+0.01)
6efea4 28.32 (+0.09) 23.94 (-0.08) 27.75 (+0.08) 80.01 (+0.03)
4071ff 26.05 (+0.03) 26.00 (+0.02) 25.59 (-0.00) 77.64 (+0.02)
4071ff 25.34 (-0.05) 25.39 (-0.02) 25.70 (-0.04) 76.43 (-0.04)
870ba4 26.62 (-0.04) 25.88 (+0.10) 26.74 (+0.10) 79.24 (+0.05)
f5ca89 27.79 (+0.04) 23.57 (-0.08) 24.40 (-0.15) 75.77 (-0.06)
8bd565 26.77 (+0.07) 25.60 (+0.02) 28.57 (+0.08) 80.95 (+0.06)
dd22c8 24.99 (-0.08) 25.20 (-0.01) 26.37 (-0.02) 76.57 (-0.04)
299db9 27.06 (+0.09) 25.58 (-0.08) 26.92 (+0.03) 79.55 (+0.01)
93f3f4 24.78 (+0.01) 27.84 (+0.02) 26.18 (+0.03) 78.81 (+0.02)
f6e2e0 24.51 (-0.09) 27.32 (+0.04) 25.42 (+0.05) 77.25 (-0.00)
f6e2e0 26.94 (+0.03) 26.19 (-0.09) 24.28 (-0.10) 77.42 (-0.05)
f6e2e0 26.08 (+0.00) 28.68 (+0.07) 26.89 (+0.11) 81.65 (+0.06)
f1d960 26.05 (-0.06) 26.72 (+0.03) 24.29 (-0.11) 77.06 (-0.05)
4a9279 27.83 (+0.12) 25.97 (-0.07) 27.32 (+0.05) 81.13 (+0.03)
2e4bf7 24.77 (-0.03) 27.89 (+0.06) 26.04 (+0.09) 78.70 (+0.04)
ce8fbb 25.44 (+0.02) 26.42 (+0.06) 23.98 (-0.08) 75.84 (-0.00)
ce8fbb 25.02 (-0.09) 25.02 (-0.01) 26.07 (+0.00) 76.11 (-0.03)
ce8fbb 27.37 (+0.22) 25.40 (+0.03) 26.01 (-0.02) 78.78 (+0.07)
d1a0f2 22.35 (-0.16) 24.63 (-0.03) 26.48 (-0.01) 73.46 (-0.07)
ccf92d 26.76 (+0.11) 25.31 (-0.08) 26.78 (+0.05) 78.85 (+0.03)
02b8e0 24.03 (-0.07) 27.39 (+0.03) 25.42 (-0.05) 76.83 (-0.03)
7b9057 25.87 (+0.07) 26.71 (+0.05) 26.79 (-0.05) 79.38 (+0.02)
9cada8 24.15 (-0.07) 25.40 (+0.03) 28.30 (+0.14) 77.86 (+0.03)
9cada8 26.04 (-0.06) 24.61 (-0.13) 24.79 (-0.15) 75.44 (-0.11)
9cada8 27.84 (+0.06) 28.17 (+0.10) 29.12 (+0.03) 85.13 (+0.06)
a60f68 26.18 (+0.00) 25.68 (-0.06) 28.22 (+0.22) 80.08 (+0.05)
d19c52 26.10 (+0.02) 27.28 (+0.02) 23.11 (-0.00) 76.49 (+0.01)
000eb1 25.60 (-0.10) 26.73 (+0.10) 23.21 (-0.11) 75.55 (-0.04)
000eb1 28.46 (+0.12) 24.28 (-0.03) 26.04 (+0.09) 78.78 (+0.06)
f51b48 25.44 (-0.02) 25.03 (-0.01) 23.79 (-0.14) 74.26 (-0.06)
f51b48 25.94 (-0.00) 25.30 (-0.01) 27.70 (+0.04) 78.94 (+0.01)
f51b48 26.07 (-0.01) 25.56 (+0.01) 26.65 (-0.01) 78.28 (-0.00)
9f906f 26.22 (+0.20) 25.31 (+0.06) 26.90 (+0.15) 78.43 (+0.14)
0692ff 21.91 (+0.02) 23.88 (+0.02) 23.30 (+0.03) 69.09 (+0.02)
2caece 21.45 (-0.14) 23.49 (+0.01) 22.72 (-0.05) 67.67 (-0.06)
bc7d3c 24.85 (+0.12) 23.37 (-0.01) 23.93 (-0.07) 72.15 (+0.01)
2153d2 22.27 (-0.10) 23.52 (-0.02) 25.79 (+0.14) 71.58 (+0.00)
2153d2 24.83 (+0.11) 23.91 (-0.09) 22.71 (-0.06) 71.45 (-0.02)
2153d2 22.47 (-0.06) 26.20 (+0.07) 24.12 (+0.01) 72.79 (+0.01)
a1b062 23.93 (+0.01) 24.50 (-0.06) 23.97 (+0.03) 72.40 (-0.01)
1d9d7c 23.64 (+0.05) 26.06 (+0.06) 23.30 (-0.04) 73.01 (+0.02)
3569c1 22.49 (-0.01) 24.66 (+0.07) 24.20 (+0.05) 71.34 (+0.04)
eaff14 22.74 (-0.06) 23.06 (-0.07) 23.11 (+0.02) 68.91 (-0.04)
f383b4 24.23 (+0.02) 24.90 (-0.01) 22.70 (-0.03) 71.83 (-0.00)
f383b4 23.65 (+0.01) 25.18 (+0.01) 23.32 (-0.04) 72.15 (-0.01)
f383b4 23.47 (-0.01) 24.81 (+0.04) 24.39 (+0.07) 72.68 (+0.03)
a4256b 23.66 (+0.08) 23.92 (+0.05) 22.70 (-0.09) 70.27 (+0.01)
371493 21.87 (-0.06) 22.70 (+0.02) 24.87 (+0.18) 69.45 (+0.04)
c5c143 23.24 (-0.01) 22.29 (+0.02) 21.01 (-0.09) 66.54 (-0.03)
58fa4f 23.36 (-0.02) 21.93 (-0.07) 23.19 (+0.09) 68.48 (-0.00)
121d53 23.87 (+0.05) 23.60 (-0.03) 21.29 (-0.10) 68.76 (-0.03)
121d53 22.82 (-0.02) 24.40 (+0.06) 23.60 (+0.01) 70.81 (+0.01)
ec3a3a 23.34 (+0.13) 23.12 (-0.04) 23.37 (-0.06) 69.84 (+0.01)
96e783 20.66 (-0.08) 23.97 (+0.14) 24.79 (+0.12) 69.42 (+0.06)
567b71 22.56 (-0.02) 21.11 (-0.09) 22.10 (-0.02) 65.77 (-0.04)
847fc5 22.95 (+0.03) 23.17 (-0.00) 22.60 (+0.06) 68.72 (+0.03)
5e08b3 22.36 (+0.02) 23.19 (+0.03) 21.30 (-0.10) 66.84 (-0.02)
4d291d 21.94 (-0.04) 22.62 (+0.06) 23.58 (-0.01) 68.15 (+0.00)
4d291d 22.77 (-0.03) 21.39 (-0.09) 23.91 (+0.07) 68.08 (-0.01)
bf63f1 23.40 (+0.16) 23.40 (+0.01) 22.31 (-0.07) 69.10 (+0.02)
0a0958 20.14 (-0.13) 23.20 (+0.10) 24.08 (+0.03) 67.43 (-0.00)
aabca5 23.23 (+0.04) 21.07 (-0.09) 23.31 (+0.03) 67.62 (-0.01)
a4be54 22.40 (-0.06) 23.20 (+0.16) 22.63 (+0.23) 68.23 (+0.10)
a3d7ad 23.75 (-0.00) 19.94 (-0.01) 18.38 (+0.02) 62.07 (+0.00)
a3d7ad 23.86 (+0.09) 20.11 (-0.19) 18.06 (-0.32) 62.04 (-0.15)
8ba169 21.97 (-0.10) 24.81 (+0.28) 26.40 (+0.46) 73.18 (+0.18)
e5cc2f 24.46 (+0.01) 19.41 (+0.12) 18.02 (-0.08) 61.89 (+0.01)
c6b56d 24.27 (+0.04) 17.29 (-0.12) 19.60 (+0.14) 61.15 (+0.02)
e067cd 23.37 (-0.01) 19.59 (+0.01) 17.18 (-0.11) 60.15 (-0.04)
bce423 23.69 (+0.00) 19.39 (+0.03) 19.32 (+0.06) 62.39 (+0.03)
bce423 23.64 (+0.04) 18.89 (-0.04) 18.21 (-0.05) 60.75 (-0.01)
c28bfd 22.75 (+0.04) 19.64 (+0.03) 19.16 (-0.01) 61.55 (+0.02)
95bf19 21.96 (-0.06) 19.00 (-0.00) 19.37 (+0.08) 60.34 (+0.00)
95bf19 23.35 (-0.01) 19.03 (+0.03) 17.87 (-0.11) 60.24 (-0.03)
080752 23.47 (+0.05) 18.40 (-0.07) 20.15 (+0.12) 62.03 (+0.03)
23d5e2 22.35 (-0.06) 19.71 (+0.05) 17.99 (-0.00) 60.05 (-0.01)
23d5e2 23.87 (+0.08) 18.78 (+0.04) 18.01 (-0.07) 60.66 (+0.02)
8b710b 22.05 (-0.05) 17.99 (+0.01) 19.41 (-0.02) 59.46 (-0.02)
8c6e60 23.22 (-0.00) 17.79 (-0.13) 19.74 (+0.13) 60.75 (-0.01)
10dae7 23.27 (+0.02) 20.41 (+0.14) 17.49 (-0.10) 61.18 (+0.02)
4c4d3d 22.80 (+0.03) 17.83 (-0.03) 19.50 (+0.00) 60.13 (+0.01)
9f94d0 22.07 (+0.01) 18.31 (+0.04) 19.41 (-0.01) 59.79 (+0.01)
9f94d0 21.95 (+0.08) 17.59 (-0.04) 19.70 (+0.18) 59.24 (+0.07)
9f94d0 20.37 (+0.01) 18.29 (-0.03) 16.72 (-0.07) 55.39 (-0.03)
c700c7 20.22 (-0.00) 18.81 (+0.02) 17.89 (+0.06) 56.92 (+0.03)
42c6dd 20.23 (-0.01) 18.37 (-0.01) 16.82 (-0.00) 55.42 (-0.01)
f6bf7b 20.48 (+0.02) 18.62 (+0.01) 16.89 (-0.08) 55.99 (-0.02)
1137b5 20.08 (-0.09) 18.42 (+0.01) 18.36 (+0.09) 56.86 (-0.00)
1468c6 22.06 (-0.01) 18.17 (+0.05) 16.85 (-0.06) 57.08 (-0.01)
1468c6 22.34 (+0.05) 17.32 (+0.03) 17.99 (-0.03) 57.65 (+0.02)
c01f92 21.33 (-0.01) 16.81 (-0.02) 18.61 (-0.01) 56.75 (-0.01)
7ff591 21.54 (+0.02) 17.22 (+0.03) 18.80 (+0.02) 57.57 (+0.03)
5d4774 21.03 (-0.05) 16.70 (-0.21) 18.40 (-0.16) 56.13 (-0.14)
56d8c2 22.25 (+0.06) 21.21 (+0.07) 21.98 (+0.05) 65.45 (+0.06)
12e6f4 20.95 (-0.01) 19.79 (+0.01) 21.00 (+0.01) 61.75 (+0.00)
12e6f4 21.07 (+0.03) 19.57 (-0.04) 20.84 (-0.01) 61.48 (-0.01)
61194a 20.46 (-0.13) 20.34 (-0.12) 21.09 (-0.10) 61.90 (-0.12)
70ce01 23.65 (-0.06) 23.20 (+0.00) 23.43 (+0.03) 70.28 (-0.01)
c04c20 25.14 (+0.07) 23.17 (-0.05) 22.73 (-0.03) 71.04 (-0.00)
827ee1 23.59 (-0.06) 24.30 (+0.00) 23.40 (+0.05) 71.29 (-0.01)
22ae67 25.16 (+0.04) 24.29 (+0.06) 22.20 (-0.10) 71.66 (+0.00)
0f4458 24.10 (-0.01) 22.82 (-0.08) 24.68 (-0.01) 71.60 (-0.03)
0f4458 24.32 (+0.01) 24.88 (+0.08) 24.93 (+0.02) 74.14 (+0.04)
0f4458 24.15 (-0.04) 23.11 (-0.12) 24.36 (+0.02) 71.62 (-0.05)
b8a566 25.04 (+0.10) 26.20 (+0.10) 23.77 (+0.07) 75.01 (+0.09)
b8a566 22.85 (-0.06) 23.88 (+0.08) 22.19 (-0.11) 68.93 (-0.03)
9747e9 24.32 (+0.11) 22.01 (-0.06) 24.87 (+0.07) 71.20 (+0.04)
b50e07 21.97 (-0.19) 23.31 (-0.13) 23.33 (-0.04) 68.61 (-0.12)
6a57d5 26.98 (+0.10) 26.82 (+0.28) 24.30 (+0.01) 78.10 (+0.12)
c0480f 24.47 (+0.12) 20.89 (-0.13) 24.09 (+0.03) 69.45 (+0.00)
4f443c 21.93 (-0.10) 23.92 (+0.01) 23.40 (+0.03) 69.25 (-0.02)
4f443c 24.42 (+0.06) 23.68 (+0.02) 22.63 (+0.08) 70.72 (+0.05)
788823 23.07 (-0.47) 23.24 (-0.45) 20.87 (-0.40) 67.18 (-0.44)
c21104 43.70 (+0.79) 42.18 (+0.72) 34.93 (+0.52) 120.81 (+0.68)
b9544a 24.46 (+0.10) 24.57 (+0.01) 23.03 (-0.04) 72.07 (+0.02)
33834c 22.28 (+0.07) 24.44 (+0.03) 23.98 (+0.07) 70.70 (+0.05)
521667 20.81 (-0.05) 23.77 (+0.11) 22.48 (+0.03) 67.06 (+0.03)
361648 22.00 (-0.04) 21.38 (-0.07) 21.90 (-0.09) 65.28 (-0.07)
fc0629 23.01 23.01 23.96 69.98

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query16]

platform: rds-aurora

revision Q16/1 Q16/2 Q16/3 total_duration
41aa62 109.02 (+0.03) 99.20 (-0.01) 101.62 (-0.00) 309.84 (+0.01)
7b5489 105.55 (-0.10) 100.08 (-0.13) 101.92 (-0.08) 307.55 (-0.10)
a23b07 116.87 (+0.10) 115.60 (+0.13) 110.40 (+0.09) 342.88 (+0.11)
cc2d00 106.27 (+0.04) 102.68 (+0.10) 100.91 (+0.06) 309.86 (+0.07)
ba9df2 101.99 (+0.24) 93.08 (+0.15) 95.09 (+0.16) 290.17 (+0.18)
a8f354 82.07 (-0.01) 81.09 (+0.07) 81.93 (+0.03) 245.09 (+0.03)
7feb0d 82.51 (-0.09) 75.75 (-0.13) 79.29 (-0.03) 237.55 (-0.08)
982fce 90.44 (+0.15) 87.02 (+0.13) 81.73 (+0.06) 259.19 (+0.11)
1f151d 78.35 (+0.04) 77.04 (+0.06) 77.18 (+0.09) 232.58 (+0.06)
ff1a1a 75.69 (-0.19) 72.98 (-0.20) 70.97 (-0.20) 219.64 (-0.20)
b1477b 93.02 (+0.02) 91.40 (+0.06) 89.07 (+0.05) 273.49 (+0.04)
1b947f 91.44 (-0.08) 86.32 (-0.12) 85.19 (-0.09) 262.95 (-0.10)
a21b55 99.83 (-0.03) 97.79 (+0.08) 94.01 (-0.00) 291.64 (+0.01)
4ba950 103.20 (+0.14) 90.21 (+0.06) 94.09 (+0.09) 287.50 (+0.10)
4e359d 90.73 (+0.04) 85.49 (+0.06) 86.12 (+0.03) 262.34 (+0.04)
3837fc 87.24 (+0.13) 80.81 (+0.01) 83.93 (+0.11) 251.98 (+0.08)
edcf4d 77.25 (+0.03) 79.81 (+0.09) 75.39 (+0.07) 232.46 (+0.06)
411c71 74.64 (-0.19) 73.51 (-0.11) 70.28 (-0.14) 218.44 (-0.15)
854348 92.65 (+0.13) 82.78 (-0.01) 81.79 (+0.02) 257.22 (+0.05)
7ba5c2 81.72 (-0.03) 83.59 (+0.06) 79.94 (+0.04) 245.26 (+0.02)
ebea29 84.48 (-0.01) 78.94 (+0.00) 76.93 (-0.01) 240.35 (-0.01)
22c890 85.51 (+0.02) 78.85 (+0.00) 77.46 (-0.03) 241.82 (-0.00)
f0b2e0 83.51 (+0.11) 78.73 (+0.06) 79.96 (+0.10) 242.21 (+0.09)
dec580 75.45 (-0.04) 74.22 (-0.01) 72.38 (-0.03) 222.05 (-0.03)
dec580 78.83 (+0.04) 74.67 (+0.03) 74.80 (+0.05) 228.30 (+0.04)
b1c2a6 75.70 (-0.00) 72.72 (-0.03) 71.27 (+0.01) 219.70 (-0.01)
931094 75.99 (+0.01) 75.19 (+0.06) 70.90 (+0.00) 222.08 (+0.02)
957acb 75.45 (+0.01) 70.81 (-0.00) 70.89 (-0.03) 217.15 (-0.01)
846532 74.75 (-0.03) 70.98 (-0.01) 73.01 (+0.00) 218.75 (-0.01)
d733bc 76.93 (+0.05) 71.58 (+0.00) 72.79 (+0.03) 221.30 (+0.03)
75ffe3 73.19 (+0.01) 71.25 (+0.04) 70.60 (+0.03) 215.03 (+0.02)
75ffe3 72.40 (-0.22) 68.82 (-0.24) 68.79 (-0.21) 210.01 (-0.22)
bf4623 93.21 (+0.00) 91.01 (+0.04) 86.68 (+0.02) 270.91 (+0.02)
b26c83 93.03 (-0.01) 87.46 (-0.00) 84.91 (-0.06) 265.41 (-0.02)
9d714a 93.76 (-0.02) 87.66 (-0.02) 90.40 (+0.01) 271.82 (-0.01)
6efea4 95.25 (+0.05) 89.03 (+0.03) 89.70 (+0.03) 273.97 (+0.04)
4071ff 90.74 (-0.07) 86.81 (-0.04) 86.99 (-0.00) 264.54 (-0.04)
4071ff 97.27 (+0.07) 90.30 (+0.02) 87.13 (+0.01) 274.70 (+0.03)
870ba4 90.81 (-0.01) 88.67 (-0.04) 86.61 (-0.05) 266.09 (-0.04)
f5ca89 91.93 (-0.03) 92.78 (+0.03) 91.54 (+0.03) 276.25 (+0.01)
8bd565 94.35 (+0.02) 90.33 (+0.00) 89.00 (+0.06) 273.67 (+0.02)
dd22c8 92.84 (-0.02) 89.89 (+0.03) 84.30 (-0.01) 267.04 (-0.00)
299db9 94.52 (-0.04) 87.62 (-0.01) 84.98 (-0.07) 267.11 (-0.04)
93f3f4 98.94 (+0.06) 88.48 (+0.02) 91.08 (+0.05) 278.50 (+0.04)
f6e2e0 93.60 (-0.04) 86.40 (-0.06) 86.92 (-0.05) 266.92 (-0.05)
f6e2e0 97.74 (+0.01) 91.83 (+0.03) 91.39 (-0.00) 280.96 (+0.01)
f6e2e0 97.08 (+0.00) 89.20 (+0.05) 91.69 (+0.07) 277.97 (+0.04)
f1d960 96.89 (+0.04) 85.18 (-0.03) 85.92 (-0.03) 268.00 (-0.00)
4a9279 92.93 (-0.02) 87.99 (+0.04) 88.40 (+0.03) 269.33 (+0.01)
2e4bf7 94.82 (+0.02) 84.63 (+0.01) 86.06 (+0.01) 265.51 (+0.01)
ce8fbb 92.96 (+0.03) 83.90 (-0.05) 85.02 (-0.07) 261.89 (-0.03)
ce8fbb 90.50 (-0.04) 88.25 (+0.00) 91.63 (+0.04) 270.38 (+0.00)
ce8fbb 93.95 (+0.02) 88.05 (-0.03) 88.13 (+0.03) 270.13 (+0.01)
d1a0f2 91.85 (+0.03) 90.92 (+0.07) 85.87 (+0.00) 268.64 (+0.03)
ccf92d 89.56 (+0.00) 85.20 (-0.02) 85.80 (-0.02) 260.57 (-0.01)
02b8e0 89.53 (-0.02) 86.91 (+0.01) 87.69 (+0.02) 264.13 (+0.00)
7b9057 91.27 (+0.00) 85.76 (-0.02) 86.02 (+0.03) 263.05 (+0.01)
9cada8 91.05 (-0.03) 87.47 (+0.02) 83.13 (-0.05) 261.65 (-0.02)
9cada8 94.02 (+0.02) 86.05 (+0.00) 87.48 (+0.03) 267.56 (+0.02)
9cada8 92.14 (-0.03) 85.79 (-0.05) 85.10 (-0.03) 263.03 (-0.04)
a60f68 94.60 (+0.04) 90.10 (+0.09) 87.97 (+0.04) 272.67 (+0.06)
d19c52 90.62 (-0.00) 82.41 (-0.03) 84.85 (-0.06) 257.89 (-0.03)
000eb1 90.79 (-0.04) 84.59 (-0.02) 89.79 (+0.07) 265.17 (+0.00)
000eb1 94.39 (-0.00) 86.51 (+0.02) 83.92 (-0.01) 264.83 (+0.00)
f51b48 94.47 (-0.01) 85.22 (-0.02) 84.93 (+0.00) 264.62 (-0.01)
f51b48 95.72 (+0.10) 86.80 (-0.01) 84.91 (-0.00) 267.44 (+0.03)
f51b48 87.09 (-0.03) 87.92 (-0.02) 84.93 (-0.06) 259.94 (-0.03)
9f906f 89.51 (+0.03) 89.28 (+0.07) 90.21 (+0.12) 268.99 (+0.07)
0692ff 86.52 (-0.00) 83.66 (+0.06) 80.43 (+0.01) 250.60 (+0.02)
2caece 86.53 (+0.02) 78.91 (-0.00) 79.29 (+0.00) 244.73 (+0.01)
bc7d3c 84.92 (-0.04) 79.03 (-0.06) 79.12 (-0.01) 243.07 (-0.04)
2153d2 88.62 (+0.07) 84.29 (+0.04) 79.83 (+0.00) 252.74 (+0.04)
2153d2 82.89 (-0.03) 81.00 (+0.05) 79.66 (+0.03) 243.55 (+0.02)
2153d2 85.15 (+0.05) 77.20 (-0.04) 77.10 (-0.06) 239.45 (-0.02)
a1b062 81.28 (-0.04) 80.16 (+0.01) 82.08 (+0.02) 243.52 (-0.00)
1d9d7c 84.50 (-0.02) 79.10 (+0.01) 80.48 (+0.03) 244.08 (+0.01)
3569c1 86.38 (+0.05) 77.96 (+0.01) 77.93 (+0.01) 242.28 (+0.02)
eaff14 82.25 (-0.03) 77.14 (-0.06) 77.17 (-0.02) 236.56 (-0.03)
f383b4 84.54 (+0.06) 81.78 (-0.01) 78.79 (+0.01) 245.11 (+0.02)
f383b4 79.99 (-0.06) 82.30 (+0.03) 78.21 (-0.05) 240.50 (-0.02)
f383b4 84.76 (-0.02) 79.58 (+0.02) 81.91 (+0.10) 246.25 (+0.03)
a4256b 86.75 (+0.06) 77.99 (+0.04) 74.40 (-0.02) 239.15 (+0.03)
371493 81.84 (-0.00) 75.13 (-0.05) 75.78 (+0.02) 232.75 (-0.01)
c5c143 81.86 (-0.02) 79.19 (+0.06) 74.59 (-0.03) 235.65 (+0.00)
58fa4f 83.54 (+0.02) 74.83 (-0.06) 77.18 (+0.01) 235.54 (-0.01)
121d53 81.78 (-0.00) 79.35 (+0.02) 76.15 (-0.03) 237.28 (-0.00)
121d53 81.97 (+0.00) 77.50 (+0.02) 78.47 (+0.02) 237.94 (+0.01)
ec3a3a 81.59 (-0.03) 76.20 (-0.00) 77.21 (-0.01) 235.01 (-0.01)
96e783 83.88 (+0.05) 76.32 (+0.00) 78.38 (+0.02) 238.59 (+0.03)
567b71 79.76 (+0.02) 75.97 (-0.03) 76.53 (-0.01) 232.26 (-0.01)
847fc5 78.45 (-0.02) 78.19 (+0.03) 77.54 (+0.01) 234.19 (+0.01)
5e08b3 79.86 (+0.02) 75.76 (+0.02) 76.91 (+0.04) 232.53 (+0.02)
4d291d 78.26 (-0.07) 74.51 (-0.04) 74.30 (-0.02) 227.08 (-0.04)
4d291d 84.09 (+0.10) 77.83 (+0.02) 75.47 (+0.00) 237.39 (+0.04)
bf63f1 76.67 (-0.09) 76.31 (+0.01) 75.17 (-0.03) 228.15 (-0.04)
0a0958 84.68 (+0.04) 75.79 (-0.02) 77.53 (+0.03) 238.00 (+0.02)
aabca5 81.06 (-0.01) 77.18 (+0.03) 75.12 (+0.01) 233.37 (+0.01)
a4be54 82.14 (+0.03) 75.17 (-0.02) 74.39 (-0.05) 231.70 (-0.01)
a3d7ad 79.94 (+0.05) 76.58 (+0.00) 78.32 (+0.06) 234.84 (+0.04)
a3d7ad 76.21 (-0.09) 76.35 (+0.01) 73.65 (-0.04) 226.21 (-0.04)
8ba169 83.93 (+0.10) 75.74 (+0.01) 77.10 (-0.01) 236.77 (+0.03)
e5cc2f 76.58 (+0.05) 74.69 (-0.03) 77.98 (+0.09) 229.25 (+0.03)
c6b56d 72.80 (-0.04) 77.23 (-0.01) 71.62 (-0.05) 221.64 (-0.03)
e067cd 76.08 (+0.07) 78.29 (+0.03) 75.10 (+0.03) 229.47 (+0.04)
bce423 71.01 (-0.08) 76.11 (-0.00) 73.03 (-0.00) 220.15 (-0.03)
bce423 77.15 (-0.00) 76.32 (+0.04) 73.21 (-0.01) 226.68 (+0.01)
c28bfd 77.28 (+0.00) 73.60 (-0.03) 73.62 (+0.01) 224.51 (-0.01)
95bf19 77.08 (+0.06) 75.81 (-0.02) 73.07 (-0.05) 225.96 (-0.00)
95bf19 72.38 (-0.07) 77.01 (+0.04) 77.30 (+0.05) 226.69 (+0.00)
080752 77.61 (+0.09) 74.11 (+0.01) 73.87 (-0.01) 225.59 (+0.03)
23d5e2 70.93 (-0.05) 73.11 (+0.01) 74.71 (-0.01) 218.75 (-0.02)
23d5e2 74.79 (-0.02) 72.65 (-0.09) 75.41 (-0.01) 222.86 (-0.04)
8b710b 76.07 (+0.04) 79.49 (+0.07) 76.00 (+0.02) 231.56 (+0.04)
8c6e60 72.96 (-0.03) 74.11 (+0.02) 74.77 (-0.03) 221.85 (-0.02)
10dae7 75.41 (+0.06) 72.83 (-0.04) 77.09 (+0.06) 225.34 (+0.02)
4c4d3d 71.46 (-0.00) 75.79 (-0.06) 72.65 (-0.02) 219.90 (-0.03)
9f94d0 71.71 (+0.00) 80.21 (+0.06) 73.92 (+0.03) 225.84 (+0.03)
9f94d0 71.69 (+0.06) 75.98 (+0.11) 71.74 (+0.06) 219.41 (+0.08)
9f94d0 67.41 (+0.01) 68.33 (-0.05) 67.57 (-0.09) 203.31 (-0.04)
c700c7 66.56 (+0.00) 72.03 (-0.02) 73.86 (-0.02) 212.45 (-0.01)
42c6dd 66.36 (-0.01) 73.49 (+0.01) 75.59 (-0.01) 215.44 (-0.00)
f6bf7b 67.00 (+0.00) 72.91 (+0.07) 76.00 (+0.08) 215.91 (+0.05)
1137b5 66.88 (-0.00) 68.28 (-0.05) 70.20 (-0.02) 205.37 (-0.03)
1468c6 67.06 (+0.01) 71.97 (+0.01) 71.82 (-0.05) 210.84 (-0.01)
1468c6 66.25 (+0.02) 71.40 (-0.08) 75.31 (+0.06) 212.96 (-0.00)
c01f92 64.94 (-0.01) 77.69 (+0.06) 71.32 (+0.02) 213.95 (+0.02)
7ff591 65.47 (+0.05) 73.59 (+0.17) 69.82 (+0.10) 208.88 (+0.11)
5d4774 62.29 (-0.15) 62.81 (-0.12) 63.22 (-0.14) 188.31 (-0.14)
56d8c2 73.10 (-0.03) 71.57 (-0.01) 73.90 (+0.05) 218.58 (+0.00)
12e6f4 75.08 (+0.04) 72.11 (-0.02) 70.36 (+0.00) 217.55 (+0.01)
12e6f4 72.25 (-0.01) 73.51 (+0.03) 70.12 (-0.01) 215.88 (+0.00)
61194a 73.24 (-0.09) 71.49 (-0.13) 70.91 (-0.09) 215.64 (-0.11)
70ce01 80.91 (-0.05) 82.01 (+0.02) 78.28 (-0.01) 241.20 (-0.02)
c04c20 85.20 (+0.04) 80.74 (-0.02) 79.18 (-0.01) 245.12 (+0.00)
827ee1 82.19 (-0.02) 82.63 (+0.02) 79.92 (-0.02) 244.74 (-0.01)
22ae67 83.63 (+0.01) 80.71 (+0.01) 81.89 (+0.02) 246.24 (+0.01)
0f4458 83.00 (-0.03) 79.76 (+0.01) 80.12 (+0.01) 242.89 (-0.00)
0f4458 85.14 (-0.00) 78.91 (-0.03) 79.63 (-0.01) 243.68 (-0.01)
0f4458 85.28 (+0.01) 81.41 (+0.04) 80.18 (+0.02) 246.87 (+0.02)
b8a566 84.26 (-0.02) 78.13 (-0.07) 78.69 (-0.03) 241.08 (-0.04)
b8a566 86.00 (+0.03) 83.63 (+0.00) 81.41 (+0.03) 251.04 (+0.02)
9747e9 83.29 (+0.01) 83.58 (+0.04) 78.97 (-0.00) 245.84 (+0.02)
b50e07 82.22 (+0.03) 80.30 (-0.03) 79.26 (-0.07) 241.78 (-0.02)
6a57d5 80.13 (-0.01) 82.76 (+0.07) 85.01 (+0.08) 247.91 (+0.04)
c0480f 81.28 (+0.02) 77.28 (-0.02) 79.02 (-0.01) 237.58 (-0.00)
4f443c 80.02 (-0.03) 78.63 (-0.01) 79.90 (+0.04) 238.55 (-0.00)
4f443c 82.67 (+0.05) 79.70 (+0.02) 77.00 (+0.02) 239.38 (+0.03)
788823 79.05 (-0.23) 78.34 (-0.20) 75.30 (-0.23) 232.70 (-0.22)
c21104 102.91 (+0.21) 97.89 (+0.24) 97.93 (+0.19) 298.73 (+0.21)
b9544a 85.16 (+0.00) 78.73 (-0.04) 82.28 (+0.04) 246.17 (+0.00)
33834c 85.00 (+0.02) 82.05 (+0.08) 78.91 (+0.03) 245.97 (+0.04)
521667 83.19 (+0.03) 75.92 (+0.04) 76.29 (+0.00) 235.40 (+0.03)
361648 80.72 (+0.00) 72.72 (-0.04) 75.99 (+0.03) 229.44 (-0.01)
fc0629 80.69 75.89 74.05 230.64

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query17]

platform: rds-aurora

revision Q17/1 Q17/2 Q17/3 total_duration
41aa62 95.35 (+0.02) 93.80 (+0.02) 96.71 (+0.00) 285.86 (+0.01)
7b5489 93.06 (-0.10) 92.21 (-0.16) 96.69 (-0.07) 281.95 (-0.11)
a23b07 103.24 (+0.08) 109.38 (+0.13) 103.83 (+0.08) 316.45 (+0.10)
cc2d00 95.43 (+0.08) 97.19 (+0.11) 96.32 (+0.07) 288.94 (+0.09)
ba9df2 88.22 (+0.19) 87.49 (+0.12) 89.72 (+0.23) 265.44 (+0.18)
a8f354 74.12 (+0.02) 77.80 (+0.05) 72.69 (+0.01) 224.62 (+0.03)
7feb0d 73.02 (-0.07) 73.99 (-0.11) 71.80 (-0.09) 218.82 (-0.09)
982fce 78.60 (+0.10) 83.12 (+0.20) 79.12 (+0.12) 240.83 (+0.14)
1f151d 71.17 (+0.02) 69.11 (-0.03) 70.83 (+0.05) 211.11 (+0.01)
ff1a1a 69.77 (-0.20) 71.28 (-0.17) 67.41 (-0.19) 208.46 (-0.19)
b1477b 87.57 (+0.01) 85.41 (-0.01) 83.58 (-0.01) 256.56 (-0.01)
1b947f 87.12 (-0.01) 86.60 (-0.06) 84.57 (-0.04) 258.29 (-0.03)
a21b55 87.68 (-0.04) 91.67 (-0.01) 88.30 (-0.06) 267.65 (-0.04)
4ba950 91.28 (+0.10) 92.42 (+0.15) 94.38 (+0.18) 278.08 (+0.15)
4e359d 82.95 (+0.07) 80.09 (+0.02) 79.71 (-0.02) 242.75 (+0.02)
3837fc 77.20 (+0.01) 78.81 (+0.05) 81.49 (+0.11) 237.50 (+0.06)
edcf4d 76.13 (+0.17) 75.05 (+0.11) 73.61 (+0.10) 224.79 (+0.13)
411c71 65.00 (-0.13) 67.90 (-0.12) 66.77 (-0.10) 199.67 (-0.11)
854348 74.45 (-0.01) 76.78 (-0.05) 74.11 (-0.05) 225.34 (-0.03)
7ba5c2 75.01 (-0.02) 80.46 (+0.10) 77.98 (+0.06) 233.44 (+0.05)
ebea29 76.35 (+0.00) 73.10 (-0.07) 73.38 (+0.01) 222.83 (-0.02)
22c890 76.28 (+0.07) 78.28 (+0.07) 72.99 (+0.01) 227.54 (+0.05)
f0b2e0 71.25 (-0.03) 73.38 (+0.07) 72.10 (+0.05) 216.74 (+0.03)
dec580 73.27 (+0.05) 68.33 (-0.03) 68.71 (+0.01) 210.33 (+0.01)
dec580 69.90 (+0.01) 70.65 (+0.02) 67.81 (-0.02) 208.36 (+0.00)
b1c2a6 69.31 (-0.01) 68.93 (+0.02) 69.11 (+0.04) 207.36 (+0.02)
931094 69.77 (+0.02) 67.37 (+0.00) 66.43 (-0.04) 203.57 (-0.01)
957acb 68.47 (+0.02) 67.20 (-0.02) 69.28 (-0.02) 204.95 (-0.01)
846532 67.25 (+0.01) 68.60 (+0.01) 70.70 (+0.03) 206.55 (+0.02)
d733bc 66.57 (-0.01) 67.68 (+0.04) 68.40 (+0.04) 202.66 (+0.02)
75ffe3 67.24 (+0.04) 65.01 (+0.01) 65.98 (+0.01) 198.23 (+0.02)
75ffe3 64.49 (-0.19) 64.58 (-0.24) 65.21 (-0.21) 194.27 (-0.22)
bf4623 80.03 (-0.07) 85.50 (+0.01) 82.55 (+0.03) 248.09 (-0.01)
b26c83 86.09 (+0.06) 85.05 (+0.02) 80.03 (+0.00) 251.18 (+0.03)
9d714a 81.29 (-0.02) 83.61 (-0.03) 79.69 (-0.05) 244.59 (-0.03)
6efea4 83.33 (+0.06) 86.59 (+0.07) 83.51 (-0.02) 253.44 (+0.04)
4071ff 78.59 (-0.02) 81.29 (-0.02) 84.82 (+0.01) 244.69 (-0.01)
4071ff 80.26 (+0.02) 83.03 (+0.02) 83.79 (+0.00) 247.08 (+0.01)
870ba4 78.56 (-0.03) 81.61 (-0.05) 83.58 (-0.02) 243.75 (-0.03)
f5ca89 80.89 (-0.08) 85.69 (-0.01) 85.68 (-0.01) 252.26 (-0.03)
8bd565 87.95 (+0.05) 86.18 (+0.06) 86.82 (+0.05) 260.96 (+0.05)
dd22c8 83.89 (+0.06) 81.66 (-0.04) 82.54 (-0.01) 248.09 (+0.00)
299db9 78.97 (-0.07) 85.30 (+0.02) 83.16 (+0.01) 247.44 (-0.01)
93f3f4 84.86 (+0.03) 83.60 (+0.06) 82.01 (+0.01) 250.47 (+0.03)
f6e2e0 82.41 (-0.06) 79.02 (-0.05) 81.31 (+0.04) 242.74 (-0.03)
f6e2e0 87.53 (-0.02) 82.94 (-0.03) 78.51 (-0.07) 248.98 (-0.04)
f6e2e0 89.17 (+0.09) 85.57 (+0.02) 84.43 (+0.04) 259.17 (+0.05)
f1d960 81.91 (-0.04) 83.86 (+0.05) 81.54 (-0.01) 247.32 (-0.00)
4a9279 85.66 (+0.06) 80.00 (-0.03) 82.01 (-0.01) 247.67 (+0.01)
2e4bf7 80.48 (-0.04) 82.45 (+0.02) 82.72 (+0.01) 245.66 (-0.00)
ce8fbb 83.68 (-0.03) 80.51 (-0.05) 82.07 (-0.06) 246.26 (-0.05)
ce8fbb 86.03 (+0.02) 85.02 (+0.05) 87.40 (+0.06) 258.45 (+0.04)
ce8fbb 84.60 (+0.03) 80.93 (-0.05) 82.29 (+0.00) 247.82 (-0.01)
d1a0f2 82.06 (-0.04) 85.58 (+0.04) 81.91 (+0.07) 249.56 (+0.02)
ccf92d 85.47 (+0.03) 82.23 (+0.02) 76.69 (-0.07) 244.39 (-0.01)
02b8e0 83.30 (-0.00) 80.52 (-0.02) 82.69 (+0.06) 246.51 (+0.01)
7b9057 83.58 (+0.02) 81.78 (+0.02) 78.36 (+0.00) 243.73 (+0.01)
9cada8 82.03 (-0.05) 80.13 (-0.09) 78.17 (-0.09) 240.34 (-0.07)
9cada8 86.48 (+0.04) 87.60 (+0.13) 85.50 (+0.09) 259.59 (+0.08)
9cada8 83.55 (-0.01) 77.52 (-0.09) 78.24 (-0.03) 239.32 (-0.04)
a60f68 84.11 (+0.05) 84.87 (+0.07) 80.52 (-0.02) 249.50 (+0.03)
d19c52 80.38 (-0.03) 79.61 (-0.04) 82.04 (-0.06) 242.04 (-0.04)
000eb1 82.47 (-0.04) 83.09 (-0.02) 87.09 (+0.03) 252.64 (-0.01)
000eb1 85.90 (+0.03) 84.62 (-0.00) 84.21 (+0.06) 254.74 (+0.03)
f51b48 83.44 (+0.06) 84.79 (+0.01) 79.41 (-0.01) 247.65 (+0.02)
f51b48 79.03 (-0.02) 83.92 (+0.03) 80.49 (-0.05) 243.45 (-0.01)
f51b48 80.62 (-0.03) 81.61 (-0.02) 84.51 (+0.05) 246.74 (+0.00)
9f906f 82.76 (+0.07) 82.95 (+0.08) 80.41 (+0.07) 246.11 (+0.07)
0692ff 77.70 (+0.06) 76.89 (+0.04) 75.40 (+0.01) 229.98 (+0.04)
2caece 73.55 (-0.08) 74.23 (-0.04) 74.39 (+0.01) 222.18 (-0.04)
bc7d3c 80.09 (+0.03) 77.15 (-0.07) 73.50 (-0.03) 230.74 (-0.02)
2153d2 77.75 (+0.00) 82.74 (+0.09) 75.40 (+0.01) 235.89 (+0.03)
2153d2 77.66 (+0.05) 76.10 (+0.02) 74.82 (+0.05) 228.58 (+0.04)
2153d2 74.23 (-0.08) 74.62 (-0.05) 71.59 (-0.07) 220.44 (-0.07)
a1b062 80.54 (+0.10) 78.69 (+0.06) 76.73 (+0.05) 235.96 (+0.07)
1d9d7c 73.55 (-0.05) 74.41 (-0.03) 73.40 (-0.03) 221.36 (-0.04)
3569c1 77.52 (+0.06) 76.33 (+0.01) 75.71 (+0.03) 229.56 (+0.03)
eaff14 72.95 (+0.00) 75.70 (+0.03) 73.57 (-0.02) 222.23 (+0.00)
f383b4 72.86 (+0.02) 73.51 (-0.02) 75.26 (-0.03) 221.64 (-0.01)
f383b4 71.49 (-0.08) 74.68 (-0.01) 77.61 (+0.01) 223.78 (-0.03)
f383b4 77.71 (+0.03) 75.61 (+0.01) 77.09 (+0.04) 230.42 (+0.03)
a4256b 75.67 (+0.05) 74.70 (+0.04) 74.22 (+0.04) 224.59 (+0.04)
371493 72.32 (-0.00) 72.08 (-0.01) 71.22 (-0.02) 215.62 (-0.01)
c5c143 72.55 (-0.00) 72.63 (-0.01) 72.77 (+0.04) 217.95 (+0.01)
58fa4f 72.88 (-0.01) 73.58 (+0.03) 70.08 (-0.03) 216.54 (-0.00)
121d53 73.53 (+0.01) 71.11 (-0.05) 72.30 (+0.02) 216.94 (-0.01)
121d53 72.69 (+0.03) 74.87 (+0.03) 70.64 (-0.00) 218.20 (+0.02)
ec3a3a 70.46 (-0.03) 73.01 (-0.07) 70.85 (-0.03) 214.32 (-0.04)
96e783 72.31 (+0.04) 78.40 (+0.08) 73.23 (+0.02) 223.94 (+0.05)
567b71 69.85 (-0.03) 72.31 (+0.01) 71.50 (-0.03) 213.66 (-0.02)
847fc5 72.03 (+0.03) 71.70 (+0.02) 73.61 (+0.04) 217.35 (+0.03)
5e08b3 70.03 (+0.02) 70.54 (-0.01) 71.08 (-0.03) 211.65 (-0.01)
4d291d 68.52 (-0.05) 71.10 (-0.04) 73.19 (+0.03) 212.81 (-0.02)
4d291d 71.77 (-0.03) 74.21 (+0.06) 70.89 (-0.00) 216.87 (+0.01)
bf63f1 73.88 (+0.02) 70.29 (-0.07) 70.99 (+0.01) 215.16 (-0.01)
0a0958 72.54 (+0.03) 75.26 (+0.01) 70.24 (+0.00) 218.04 (+0.02)
aabca5 70.10 (+0.02) 74.17 (+0.02) 69.95 (-0.03) 214.21 (+0.00)
a4be54 68.59 (-0.03) 72.82 (+0.03) 71.89 (-0.01) 213.30 (-0.00)
a3d7ad 71.05 (+0.02) 70.67 (-0.06) 72.51 (+0.05) 214.23 (-0.00)
a3d7ad 69.99 (-0.01) 75.19 (+0.07) 69.28 (-0.03) 214.46 (+0.01)
8ba169 70.83 (+0.01) 70.51 (-0.02) 71.18 (+0.01) 212.52 (+0.00)
e5cc2f 69.88 (-0.03) 71.62 (+0.02) 70.29 (+0.00) 211.78 (-0.00)
c6b56d 72.17 (+0.04) 70.02 (-0.03) 70.21 (-0.03) 212.41 (-0.01)
e067cd 69.19 (+0.01) 72.09 (+0.05) 72.57 (+0.04) 213.85 (+0.03)
bce423 68.76 (-0.01) 68.99 (-0.03) 69.89 (+0.02) 207.65 (-0.01)
bce423 69.24 (-0.01) 71.26 (+0.02) 68.74 (-0.02) 209.24 (-0.00)
c28bfd 69.81 (-0.01) 69.63 (-0.02) 69.98 (-0.01) 209.43 (-0.01)
95bf19 70.29 (+0.01) 71.17 (+0.03) 70.80 (+0.00) 212.27 (+0.01)
95bf19 69.67 (-0.01) 69.39 (-0.03) 70.59 (-0.00) 209.65 (-0.01)
080752 70.43 (+0.05) 71.50 (+0.07) 70.67 (+0.03) 212.60 (+0.05)
23d5e2 66.77 (-0.06) 67.01 (-0.03) 68.79 (+0.01) 202.58 (-0.03)
23d5e2 70.79 (-0.01) 69.29 (+0.01) 68.11 (-0.06) 208.19 (-0.02)
8b710b 71.23 (+0.02) 68.60 (+0.00) 72.72 (+0.06) 212.56 (+0.03)
8c6e60 69.51 (+0.01) 68.52 (-0.04) 68.66 (+0.01) 206.70 (-0.01)
10dae7 69.05 (-0.03) 71.21 (-0.02) 68.20 (-0.05) 208.47 (-0.03)
4c4d3d 71.24 (+0.03) 72.59 (+0.08) 71.99 (+0.07) 215.83 (+0.06)
9f94d0 69.45 (-0.07) 67.37 (-0.02) 67.32 (-0.02) 204.13 (-0.04)
9f94d0 74.74 (+0.18) 68.97 (+0.07) 68.60 (+0.06) 212.31 (+0.10)
9f94d0 63.47 (-0.07) 64.61 (-0.07) 64.82 (-0.09) 192.90 (-0.08)
c700c7 67.98 (+0.01) 69.79 (+0.02) 71.03 (+0.03) 208.80 (+0.02)
42c6dd 67.52 (-0.03) 68.45 (+0.08) 68.67 (+0.06) 204.63 (+0.04)
f6bf7b 69.27 (-0.00) 63.32 (-0.05) 64.98 (-0.06) 197.58 (-0.04)
1137b5 69.48 (+0.01) 66.71 (-0.04) 69.31 (+0.04) 205.49 (+0.00)
1468c6 68.99 (+0.04) 69.30 (+0.05) 66.88 (-0.02) 205.17 (+0.02)
1468c6 66.25 (+0.02) 66.25 (-0.08) 68.47 (-0.01) 200.96 (-0.03)
c01f92 64.85 (-0.01) 72.19 (+0.04) 69.20 (+0.02) 206.24 (+0.02)
7ff591 65.23 (-0.01) 69.27 (+0.21) 68.09 (+0.05) 202.60 (+0.08)
5d4774 65.90 (-0.02) 57.43 (-0.15) 64.79 (-0.05) 188.13 (-0.07)
56d8c2 67.47 (+0.02) 67.38 (-0.01) 68.02 (+0.01) 202.87 (+0.00)
12e6f4 66.40 (+0.00) 68.15 (+0.01) 67.55 (+0.02) 202.11 (+0.01)
12e6f4 66.27 (+0.00) 67.36 (+0.01) 66.50 (-0.00) 200.13 (+0.00)
61194a 66.15 (-0.09) 66.39 (-0.12) 66.81 (-0.11) 199.35 (-0.11)
70ce01 72.61 (-0.07) 75.36 (-0.02) 74.93 (+0.01) 222.90 (-0.03)
c04c20 78.05 (+0.07) 76.81 (-0.01) 73.88 (+0.01) 228.75 (+0.02)
827ee1 73.23 (-0.01) 77.62 (+0.02) 73.10 (-0.03) 223.95 (-0.01)
22ae67 73.84 (-0.00) 76.22 (+0.01) 75.56 (-0.02) 225.62 (-0.00)
0f4458 74.02 (-0.10) 75.29 (+0.00) 77.02 (+0.04) 226.34 (-0.02)
0f4458 82.23 (+0.07) 75.02 (-0.05) 74.28 (-0.05) 231.53 (-0.01)
0f4458 77.13 (+0.03) 78.84 (+0.02) 77.79 (+0.05) 233.76 (+0.04)
b8a566 74.88 (-0.03) 76.99 (+0.01) 73.93 (-0.08) 225.80 (-0.03)
b8a566 77.03 (+0.03) 76.29 (+0.01) 80.59 (+0.03) 233.92 (+0.02)
9747e9 74.66 (+0.01) 75.78 (-0.00) 78.50 (+0.04) 228.94 (+0.01)
b50e07 73.89 (-0.05) 75.98 (+0.01) 75.72 (-0.00) 225.59 (-0.02)
6a57d5 77.89 (+0.03) 75.17 (+0.05) 76.04 (+0.05) 229.12 (+0.04)
c0480f 75.98 (+0.07) 71.64 (-0.01) 72.46 (-0.04) 220.08 (+0.01)
4f443c 71.19 (-0.08) 72.32 (-0.00) 75.47 (+0.03) 218.98 (-0.02)
4f443c 77.41 (+0.09) 72.68 (+0.03) 73.52 (+0.04) 223.61 (+0.06)
788823 70.74 (-0.24) 70.61 (-0.29) 70.47 (-0.29) 211.83 (-0.27)
c21104 93.50 (+0.20) 98.88 (+0.33) 99.69 (+0.31) 292.07 (+0.28)
b9544a 78.23 (+0.03) 74.21 (-0.01) 76.19 (-0.01) 228.64 (+0.00)
33834c 76.08 (+0.06) 75.09 (-0.01) 76.99 (+0.07) 228.16 (+0.04)
521667 71.47 (+0.02) 75.51 (+0.04) 71.71 (-0.01) 218.69 (+0.02)
361648 70.29 (-0.04) 72.33 (+0.03) 72.20 (+0.04) 214.82 (+0.01)
fc0629 73.42 70.00 69.33 212.75

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query18]

platform: rds-aurora

revision Q18/1 Q18/2 Q18/3 total_duration
41aa62 131.98 (+0.05) 124.80 (-0.00) 128.99 (-0.00) 385.77 (+0.02)
7b5489 125.13 (-0.11) 125.19 (-0.09) 129.00 (-0.06) 379.33 (-0.09)
a23b07 140.22 (+0.10) 137.84 (+0.08) 137.20 (+0.08) 415.26 (+0.08)
cc2d00 127.75 (+0.08) 127.89 (+0.08) 127.22 (+0.05) 382.87 (+0.07)
ba9df2 118.63 (+0.18) 117.95 (+0.17) 120.97 (+0.21) 357.56 (+0.19)
a8f354 100.40 (+0.03) 101.21 (+0.02) 99.69 (+0.04) 301.31 (+0.03)
7feb0d 97.33 (-0.09) 99.34 (-0.09) 96.00 (-0.08) 292.67 (-0.09)
982fce 106.92 (+0.07) 109.51 (+0.14) 104.42 (+0.09) 320.86 (+0.10)
1f151d 99.90 (+0.06) 95.90 (+0.02) 95.71 (+0.05) 291.52 (+0.04)
ff1a1a 93.93 (-0.19) 93.84 (-0.16) 91.25 (-0.20) 279.03 (-0.18)
b1477b 115.68 (-0.01) 111.27 (-0.03) 113.63 (+0.02) 340.59 (-0.01)
1b947f 117.25 (-0.02) 114.82 (-0.05) 111.78 (-0.06) 343.85 (-0.05)
a21b55 119.67 (-0.06) 121.29 (+0.00) 119.40 (-0.04) 360.36 (-0.03)
4ba950 127.12 (+0.17) 121.13 (+0.09) 124.98 (+0.18) 373.23 (+0.15)
4e359d 108.61 (-0.02) 110.82 (+0.09) 106.09 (+0.00) 325.52 (+0.02)
3837fc 110.53 (+0.11) 101.72 (+0.05) 105.62 (+0.07) 317.88 (+0.08)
edcf4d 99.41 (+0.06) 96.80 (+0.03) 98.40 (+0.03) 294.62 (+0.04)
411c71 94.19 (-0.08) 94.39 (-0.06) 95.38 (-0.05) 283.96 (-0.06)
854348 102.45 (-0.00) 100.55 (-0.03) 100.12 (-0.05) 303.12 (-0.03)
7ba5c2 102.87 (+0.06) 103.48 (+0.05) 105.19 (+0.05) 311.53 (+0.05)
ebea29 97.37 (-0.03) 98.43 (-0.02) 99.74 (-0.01) 295.55 (-0.02)
22c890 100.33 (+0.01) 100.65 (-0.02) 101.06 (+0.04) 302.04 (+0.01)
f0b2e0 99.75 (+0.07) 102.56 (+0.09) 97.41 (+0.06) 299.71 (+0.07)
dec580 93.27 (+0.01) 94.19 (+0.04) 92.21 (-0.02) 279.68 (+0.01)
dec580 92.21 (+0.00) 90.49 (+0.01) 93.74 (+0.04) 276.44 (+0.02)
b1c2a6 92.00 (+0.01) 89.26 (-0.00) 90.06 (-0.00) 271.33 (+0.00)
931094 91.42 (-0.03) 89.33 (-0.02) 90.36 (-0.03) 271.12 (-0.03)
957acb 94.27 (+0.02) 91.06 (+0.01) 92.85 (+0.01) 278.18 (+0.01)
846532 92.38 (-0.00) 90.58 (+0.01) 92.32 (+0.02) 275.28 (+0.01)
d733bc 92.44 (+0.03) 89.89 (+0.02) 90.88 (-0.00) 273.22 (+0.02)
75ffe3 89.40 (+0.02) 87.73 (-0.03) 91.08 (+0.02) 268.21 (+0.00)
75ffe3 88.05 (-0.21) 90.08 (-0.20) 89.22 (-0.21) 267.35 (-0.21)
bf4623 111.95 (+0.01) 112.89 (+0.00) 112.47 (+0.04) 337.31 (+0.02)
b26c83 110.41 (-0.02) 112.38 (-0.03) 108.39 (-0.06) 331.19 (-0.04)
9d714a 112.90 (+0.02) 116.44 (+0.00) 115.86 (+0.04) 345.21 (+0.02)
6efea4 111.06 (+0.01) 116.06 (+0.06) 111.41 (-0.03) 338.54 (+0.01)
4071ff 110.26 (+0.04) 109.67 (-0.01) 114.72 (+0.05) 334.65 (+0.03)
4071ff 106.42 (-0.01) 110.33 (+0.00) 109.45 (-0.03) 326.20 (-0.01)
870ba4 107.39 (-0.05) 110.10 (-0.05) 112.99 (+0.00) 330.48 (-0.03)
f5ca89 113.32 (-0.05) 115.62 (+0.02) 112.91 (-0.05) 341.85 (-0.03)
8bd565 119.26 (+0.09) 113.22 (+0.02) 119.45 (+0.11) 351.93 (+0.07)
dd22c8 109.05 (-0.02) 111.28 (+0.01) 107.47 (-0.05) 327.81 (-0.02)
299db9 111.26 (+0.01) 110.61 (-0.01) 112.63 (+0.02) 334.50 (+0.01)
93f3f4 110.17 (-0.04) 111.88 (+0.04) 110.61 (-0.00) 332.67 (-0.00)
f6e2e0 114.37 (-0.01) 107.74 (-0.05) 110.95 (-0.02) 333.07 (-0.03)
f6e2e0 115.33 (+0.02) 113.49 (-0.00) 113.19 (-0.00) 342.01 (+0.01)
f6e2e0 113.22 (-0.03) 113.62 (+0.03) 113.30 (+0.00) 340.14 (+0.00)
f1d960 116.32 (+0.01) 110.31 (-0.02) 113.00 (-0.00) 339.63 (-0.00)
4a9279 115.34 (+0.03) 112.19 (-0.02) 113.52 (-0.02) 341.05 (-0.00)
2e4bf7 111.55 (-0.04) 115.02 (+0.02) 115.66 (+0.02) 342.23 (-0.00)
ce8fbb 116.31 (+0.03) 113.13 (+0.04) 113.57 (+0.01) 343.00 (+0.03)
ce8fbb 112.57 (-0.03) 108.76 (-0.03) 112.73 (+0.04) 334.06 (-0.01)
ce8fbb 115.71 (+0.04) 111.86 (-0.03) 108.31 (-0.04) 335.89 (-0.01)
d1a0f2 111.45 (-0.01) 115.03 (+0.00) 113.36 (-0.02) 339.84 (-0.01)
ccf92d 112.86 (-0.01) 114.61 (+0.03) 116.09 (+0.03) 343.56 (+0.02)
02b8e0 114.24 (+0.02) 110.99 (-0.03) 112.23 (+0.02) 337.46 (+0.01)
7b9057 111.57 (+0.01) 114.02 (+0.06) 109.76 (+0.02) 335.36 (+0.03)
9cada8 110.27 (-0.04) 107.98 (-0.07) 107.80 (-0.03) 326.05 (-0.04)
9cada8 114.35 (+0.04) 115.89 (+0.08) 110.89 (+0.00) 341.13 (+0.04)
9cada8 110.48 (-0.03) 107.74 (-0.08) 110.85 (-0.01) 329.07 (-0.04)
a60f68 114.29 (+0.02) 117.69 (+0.06) 112.38 (+0.03) 344.37 (+0.04)
d19c52 111.78 (-0.04) 110.58 (-0.00) 109.50 (-0.05) 331.86 (-0.03)
000eb1 116.69 (+0.03) 110.77 (-0.05) 115.53 (+0.04) 342.99 (+0.00)
000eb1 113.74 (+0.08) 116.24 (+0.03) 111.49 (+0.03) 341.47 (+0.05)
f51b48 105.70 (-0.03) 112.42 (+0.01) 107.75 (-0.04) 325.87 (-0.02)
f51b48 109.26 (-0.01) 111.31 (+0.01) 112.10 (-0.00) 332.67 (-0.00)
f51b48 110.76 (-0.01) 110.26 (+0.01) 112.54 (+0.01) 333.57 (+0.00)
9f906f 112.09 (+0.11) 109.60 (+0.06) 111.51 (+0.06) 333.20 (+0.07)
0692ff 101.18 (-0.00) 103.69 (-0.02) 105.49 (-0.01) 310.36 (-0.01)
2caece 101.41 (-0.02) 106.11 (+0.06) 106.56 (+0.09) 314.09 (+0.04)
bc7d3c 103.73 (-0.03) 99.67 (-0.05) 97.63 (-0.06) 301.04 (-0.05)
2153d2 106.41 (+0.03) 105.19 (+0.04) 104.22 (-0.01) 315.82 (+0.02)
2153d2 103.65 (+0.04) 100.69 (+0.02) 104.92 (+0.04) 309.26 (+0.03)
2153d2 99.35 (-0.08) 98.49 (-0.07) 101.10 (-0.00) 298.94 (-0.05)
a1b062 107.72 (+0.02) 105.51 (+0.07) 101.28 (-0.03) 314.51 (+0.02)
1d9d7c 105.78 (+0.01) 99.00 (-0.06) 104.67 (+0.04) 309.45 (-0.01)
3569c1 104.95 (+0.01) 105.66 (+0.07) 100.51 (-0.06) 311.13 (+0.01)
eaff14 103.48 (+0.01) 98.89 (+0.00) 106.39 (+0.03) 308.76 (+0.01)
f383b4 102.86 (-0.02) 98.69 (-0.02) 103.10 (-0.02) 304.64 (-0.02)
f383b4 104.74 (-0.01) 100.48 (-0.00) 105.72 (+0.01) 310.94 (-0.00)
f383b4 106.33 (+0.05) 100.88 (-0.01) 105.01 (+0.06) 312.23 (+0.04)
a4256b 100.93 (+0.04) 101.92 (+0.05) 98.69 (+0.01) 301.55 (+0.04)
371493 96.65 (-0.02) 96.63 (-0.03) 97.65 (-0.02) 290.93 (-0.02)
c5c143 98.84 (+0.01) 99.39 (-0.01) 100.09 (+0.01) 298.33 (+0.00)
58fa4f 97.54 (-0.03) 100.70 (+0.00) 99.22 (-0.05) 297.46 (-0.02)
121d53 100.23 (-0.02) 100.29 (+0.02) 103.98 (+0.05) 304.50 (+0.02)
121d53 101.94 (+0.00) 98.32 (-0.02) 98.71 (+0.00) 298.96 (-0.00)
ec3a3a 101.75 (+0.01) 99.99 (-0.02) 98.22 (-0.02) 299.97 (-0.01)
96e783 100.55 (-0.01) 101.80 (+0.01) 99.88 (+0.00) 302.24 (+0.00)
567b71 101.35 (+0.02) 100.88 (+0.06) 99.59 (-0.02) 301.83 (+0.02)
847fc5 98.93 (+0.01) 95.18 (-0.02) 102.12 (+0.09) 296.23 (+0.03)
5e08b3 97.74 (+0.04) 96.80 (+0.01) 93.73 (-0.03) 288.27 (+0.01)
4d291d 93.96 (-0.05) 95.86 (-0.03) 96.29 (-0.02) 286.11 (-0.03)
4d291d 99.42 (+0.01) 98.41 (+0.02) 98.21 (+0.01) 296.03 (+0.01)
bf63f1 98.87 (+0.03) 96.16 (-0.00) 97.46 (-0.00) 292.49 (+0.01)
0a0958 95.55 (+0.01) 96.51 (-0.00) 97.90 (-0.00) 289.96 (+0.00)
aabca5 94.46 (-0.00) 96.76 (-0.00) 98.23 (+0.03) 289.46 (+0.01)
a4be54 94.57 (-0.04) 97.19 (+0.02) 95.47 (-0.02) 287.24 (-0.01)
a3d7ad 98.14 (+0.02) 95.67 (-0.04) 97.02 (-0.01) 290.83 (-0.01)
a3d7ad 95.76 (-0.02) 99.14 (+0.03) 98.36 (+0.01) 293.27 (+0.01)
8ba169 97.88 (+0.02) 95.91 (+0.01) 96.98 (-0.01) 290.77 (+0.01)
e5cc2f 96.15 (+0.01) 94.77 (-0.02) 97.93 (+0.03) 288.85 (+0.00)
c6b56d 95.34 (-0.00) 96.71 (-0.01) 95.50 (-0.03) 287.55 (-0.01)
e067cd 95.48 (-0.01) 97.21 (+0.02) 98.73 (+0.04) 291.42 (+0.02)
bce423 96.05 (+0.01) 95.61 (+0.02) 95.03 (-0.03) 286.69 (+0.00)
bce423 95.31 (+0.02) 93.51 (-0.05) 97.81 (+0.03) 286.63 (-0.00)
c28bfd 93.77 (-0.03) 98.74 (+0.03) 95.18 (-0.02) 287.69 (-0.01)
95bf19 96.78 (+0.01) 95.86 (+0.02) 97.40 (+0.01) 290.04 (+0.01)
95bf19 96.16 (+0.01) 94.06 (-0.05) 96.36 (-0.00) 286.58 (-0.02)
080752 95.23 (+0.00) 98.97 (+0.07) 96.80 (+0.03) 291.00 (+0.03)
23d5e2 95.02 (+0.01) 92.23 (-0.04) 94.32 (+0.02) 281.57 (-0.00)
23d5e2 94.35 (-0.01) 95.93 (+0.02) 92.51 (-0.01) 282.78 (-0.00)
8b710b 95.42 (-0.05) 94.30 (+0.01) 93.90 (-0.00) 283.62 (-0.02)
8c6e60 100.21 (+0.06) 93.75 (-0.02) 94.25 (-0.02) 288.22 (+0.01)
10dae7 94.53 (+0.01) 95.63 (-0.00) 96.06 (-0.01) 286.22 (-0.00)
4c4d3d 94.06 (+0.00) 95.92 (+0.03) 97.10 (-0.02) 287.07 (+0.00)
9f94d0 93.65 (+0.01) 92.92 (-0.05) 99.41 (+0.03) 285.99 (-0.01)
9f94d0 93.07 (+0.02) 97.94 (+0.13) 96.85 (+0.10) 287.87 (+0.08)
9f94d0 91.07 (-0.03) 86.99 (-0.02) 87.67 (+0.00) 265.73 (-0.02)
c700c7 94.09 (-0.02) 88.66 (-0.04) 87.31 (-0.07) 270.06 (-0.05)
42c6dd 96.47 (+0.07) 92.52 (-0.01) 93.92 (+0.01) 282.91 (+0.02)
f6bf7b 90.26 (-0.07) 93.74 (+0.05) 92.56 (+0.02) 276.56 (+0.00)
1137b5 96.57 (+0.04) 89.22 (-0.03) 90.40 (-0.00) 276.20 (+0.00)
1468c6 92.75 (-0.03) 92.14 (+0.01) 90.69 (-0.01) 275.58 (-0.01)
1468c6 95.77 (+0.11) 91.43 (-0.00) 91.48 (-0.00) 278.69 (+0.03)
c01f92 86.20 (-0.06) 91.81 (-0.00) 91.48 (+0.01) 269.49 (-0.02)
7ff591 92.19 (+0.04) 92.18 (-0.00) 90.25 (+0.03) 274.62 (+0.02)
5d4774 88.88 (-0.04) 92.19 (+0.01) 87.29 (-0.03) 268.36 (-0.02)
56d8c2 92.36 (+0.02) 91.57 (-0.00) 89.84 (-0.03) 273.77 (-0.00)
12e6f4 90.75 (+0.01) 91.78 (-0.01) 92.20 (+0.02) 274.74 (+0.00)
12e6f4 89.86 (-0.01) 92.92 (+0.02) 90.71 (-0.01) 273.50 (+0.00)
61194a 90.59 (-0.10) 91.35 (-0.09) 91.52 (-0.11) 273.47 (-0.10)
70ce01 100.39 (-0.04) 100.86 (-0.01) 102.80 (+0.02) 304.06 (-0.01)
c04c20 104.60 (+0.05) 102.00 (-0.03) 101.27 (-0.02) 307.87 (-0.00)
827ee1 99.84 (-0.04) 104.78 (+0.05) 103.46 (-0.05) 308.08 (-0.02)
22ae67 104.50 (+0.03) 100.24 (-0.02) 108.87 (+0.03) 313.61 (+0.01)
0f4458 101.72 (+0.02) 101.79 (-0.00) 105.53 (+0.05) 309.04 (+0.02)
0f4458 99.71 (-0.04) 101.96 (-0.04) 100.42 (-0.06) 302.09 (-0.05)
0f4458 104.00 (+0.01) 106.67 (+0.04) 106.60 (+0.04) 317.27 (+0.03)
b8a566 102.85 (+0.00) 102.75 (-0.02) 102.65 (-0.03) 308.26 (-0.02)
b8a566 102.69 (+0.01) 105.21 (+0.02) 105.30 (+0.01) 313.19 (+0.02)
9747e9 101.42 (-0.01) 103.16 (+0.01) 103.77 (-0.00) 308.36 (-0.00)
b50e07 102.60 (-0.03) 101.82 (+0.00) 103.99 (-0.01) 308.40 (-0.01)
6a57d5 105.38 (+0.03) 101.49 (+0.03) 105.38 (+0.04) 312.25 (+0.03)
c0480f 102.68 (+0.01) 98.88 (-0.02) 100.93 (+0.02) 302.48 (+0.00)
4f443c 102.03 (+0.01) 100.39 (-0.02) 99.18 (-0.00) 301.60 (-0.00)
4f443c 100.57 (-0.01) 102.13 (+0.06) 99.42 (+0.02) 302.12 (+0.02)
788823 101.11 (-0.32) 96.79 (-0.36) 97.40 (-0.38) 295.31 (-0.35)
c21104 149.50 (+0.42) 150.90 (+0.46) 156.09 (+0.53) 456.50 (+0.47)
b9544a 105.23 (+0.04) 103.20 (+0.01) 101.91 (-0.03) 310.34 (+0.01)
33834c 101.17 (+0.05) 101.75 (+0.03) 105.30 (+0.08) 308.22 (+0.05)
521667 96.49 (-0.01) 98.90 (+0.01) 97.43 (-0.01) 292.83 (-0.00)
361648 97.26 (-0.01) 98.21 (+0.01) 98.29 (+0.02) 293.77 (+0.01)
fc0629 97.78 97.00 96.27 291.05

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query19]

platform: rds-aurora

revision Q19/1 Q19/2 Q19/3 total_duration
41aa62 102.07 (-0.02) 97.26 (-0.06) 101.62 (+0.03) 300.94 (-0.02)
7b5489 104.12 (-0.05) 103.04 (-0.01) 98.78 (-0.07) 305.94 (-0.04)
a23b07 109.10 (+0.08) 104.14 (+0.04) 105.79 (+0.05) 319.03 (+0.06)
cc2d00 101.49 (-0.01) 100.02 (-0.01) 100.54 (+0.06) 302.04 (+0.01)
ba9df2 102.40 (+0.09) 101.45 (+0.10) 94.93 (+0.03) 298.78 (+0.07)
a8f354 94.37 (+0.00) 92.54 (-0.02) 91.79 (+0.01) 278.70 (-0.00)
7feb0d 94.18 (-0.09) 94.03 (-0.04) 90.58 (-0.06) 278.80 (-0.06)
982fce 102.99 (+0.06) 98.35 (+0.09) 96.52 (+0.06) 297.86 (+0.07)
1f151d 97.61 (+0.03) 90.22 (+0.00) 91.24 (-0.01) 279.07 (+0.01)
ff1a1a 94.32 (-0.11) 90.18 (-0.07) 92.48 (-0.05) 276.99 (-0.08)
b1477b 106.47 (+0.07) 97.16 (+0.00) 97.55 (+0.01) 301.18 (+0.03)
1b947f 99.58 (-0.09) 97.07 (-0.06) 96.63 (-0.03) 293.29 (-0.06)
a21b55 109.29 (+0.06) 103.19 (-0.00) 99.43 (-0.01) 311.92 (+0.01)
4ba950 103.55 (+0.11) 103.22 (+0.08) 100.65 (+0.06) 307.42 (+0.08)
4e359d 93.41 (+0.01) 95.57 (+0.02) 94.72 (+0.02) 283.70 (+0.02)
3837fc 92.70 (-0.08) 93.51 (+0.02) 92.95 (-0.01) 279.16 (-0.02)
edcf4d 100.41 (+0.04) 91.77 (+0.01) 93.53 (+0.02) 285.70 (+0.02)
411c71 96.73 (-0.07) 90.94 (-0.08) 91.77 (-0.04) 279.45 (-0.06)
854348 104.57 (+0.05) 98.47 (-0.01) 95.49 (-0.01) 298.54 (+0.01)
7ba5c2 99.64 (+0.05) 99.04 (+0.07) 96.73 (+0.04) 295.41 (+0.05)
ebea29 95.01 (-0.09) 92.89 (-0.05) 93.32 (-0.03) 281.23 (-0.06)
22c890 104.33 (+0.04) 97.41 (+0.00) 96.58 (+0.02) 298.32 (+0.02)
f0b2e0 100.38 (+0.03) 97.16 (+0.02) 94.57 (+0.01) 292.11 (+0.02)
dec580 97.32 (+0.05) 95.72 (+0.03) 93.51 (-0.00) 286.56 (+0.03)
dec580 92.79 (+0.03) 92.93 (+0.02) 93.70 (+0.03) 279.42 (+0.02)
b1c2a6 90.08 (-0.06) 91.36 (-0.05) 91.22 (-0.02) 272.66 (-0.04)
931094 96.06 (+0.00) 96.48 (+0.06) 92.70 (+0.04) 285.24 (+0.04)
957acb 95.92 (+0.02) 90.91 (-0.02) 88.71 (-0.03) 275.54 (-0.01)
846532 94.05 (-0.05) 92.73 (+0.02) 91.21 (+0.02) 277.99 (-0.01)
d733bc 99.16 (+0.00) 90.74 (-0.04) 89.49 (-0.04) 279.39 (-0.02)
75ffe3 98.77 (+0.08) 94.16 (+0.06) 93.16 (+0.05) 286.09 (+0.06)
75ffe3 91.75 (-0.11) 88.45 (-0.09) 88.89 (-0.08) 269.09 (-0.10)
bf4623 103.38 (+0.03) 97.72 (-0.01) 96.54 (-0.02) 297.64 (+0.00)
b26c83 100.09 (-0.01) 98.58 (-0.02) 98.79 (-0.02) 297.45 (-0.02)
9d714a 100.94 (-0.02) 100.17 (+0.01) 101.15 (+0.01) 302.26 (+0.00)
6efea4 102.90 (-0.02) 98.81 (-0.03) 100.18 (-0.00) 301.89 (-0.02)
4071ff 105.14 (+0.06) 101.77 (+0.03) 100.19 (+0.02) 307.10 (+0.04)
4071ff 99.00 (-0.08) 99.09 (-0.03) 98.35 (-0.03) 296.44 (-0.05)
870ba4 107.49 (+0.01) 102.25 (+0.00) 101.45 (-0.01) 311.19 (-0.00)
f5ca89 106.84 (+0.00) 102.13 (+0.02) 102.26 (+0.02) 311.22 (+0.01)
8bd565 106.42 (+0.00) 100.20 (-0.00) 100.29 (+0.03) 306.91 (+0.01)
dd22c8 106.40 (+0.02) 100.31 (+0.01) 97.23 (-0.01) 303.95 (+0.01)
299db9 103.84 (+0.05) 99.41 (-0.02) 98.08 (-0.02) 301.33 (+0.00)
93f3f4 98.78 (-0.08) 100.97 (+0.01) 100.23 (+0.02) 299.98 (-0.02)
f6e2e0 107.59 (+0.04) 100.10 (+0.00) 98.12 (-0.01) 305.81 (+0.01)
f6e2e0 103.15 (+0.02) 99.96 (+0.05) 99.49 (+0.02) 302.61 (+0.03)
f6e2e0 101.40 (-0.07) 95.12 (-0.07) 97.23 (-0.04) 293.75 (-0.06)
f1d960 109.01 (+0.01) 102.47 (-0.02) 101.29 (-0.03) 312.78 (-0.01)
4a9279 108.24 (+0.02) 104.55 (+0.03) 104.61 (+0.05) 317.41 (+0.03)
2e4bf7 105.99 (-0.02) 101.08 (-0.03) 99.99 (-0.01) 307.07 (-0.02)
ce8fbb 108.17 (+0.08) 103.96 (+0.05) 100.68 (-0.00) 312.81 (+0.04)
ce8fbb 100.11 (-0.01) 99.13 (+0.04) 101.03 (+0.06) 300.28 (+0.03)
ce8fbb 100.86 (-0.07) 95.71 (-0.09) 95.73 (-0.04) 292.30 (-0.07)
d1a0f2 108.05 (+0.01) 105.18 (+0.01) 99.97 (+0.00) 313.20 (+0.01)
ccf92d 107.04 (+0.09) 104.49 (+0.05) 99.79 (+0.03) 311.32 (+0.05)
02b8e0 98.58 (-0.05) 99.22 (-0.02) 97.28 (-0.00) 295.09 (-0.02)
7b9057 103.66 (+0.06) 101.24 (+0.03) 97.34 (-0.00) 302.24 (+0.03)
9cada8 97.44 (-0.05) 98.11 (+0.01) 97.77 (+0.01) 293.32 (-0.01)
9cada8 102.31 (-0.02) 96.96 (-0.04) 96.39 (-0.03) 295.66 (-0.03)
9cada8 104.91 (-0.03) 100.97 (+0.01) 99.00 (+0.03) 304.89 (+0.00)
a60f68 108.29 (+0.12) 99.60 (+0.05) 96.08 (-0.01) 303.98 (+0.05)
d19c52 96.92 (-0.08) 95.11 (-0.04) 97.43 (-0.03) 289.46 (-0.05)
000eb1 105.26 (+0.01) 99.09 (-0.01) 100.21 (+0.03) 304.56 (+0.01)
000eb1 104.50 (+0.02) 99.80 (+0.01) 97.72 (-0.01) 302.01 (+0.00)
f51b48 102.83 (-0.00) 99.28 (-0.00) 98.85 (+0.04) 300.96 (+0.01)
f51b48 103.15 (+0.01) 99.47 (-0.04) 95.40 (-0.02) 298.02 (-0.02)
f51b48 102.08 (-0.00) 103.67 (+0.08) 97.72 (-0.01) 303.47 (+0.02)
9f906f 102.32 (+0.02) 96.06 (-0.00) 98.91 (+0.05) 297.29 (+0.02)
0692ff 100.67 (-0.01) 96.15 (-0.03) 94.36 (-0.02) 291.19 (-0.02)
2caece 101.70 (-0.02) 99.31 (+0.03) 96.27 (+0.03) 297.29 (+0.01)
bc7d3c 104.14 (+0.04) 96.58 (-0.03) 93.81 (-0.03) 294.53 (-0.00)
2153d2 99.68 (-0.01) 99.26 (+0.01) 96.28 (-0.01) 295.22 (-0.00)
2153d2 100.64 (+0.03) 97.93 (+0.00) 97.01 (+0.04) 295.58 (+0.02)
2153d2 97.69 (-0.01) 97.91 (+0.02) 93.65 (+0.00) 289.26 (+0.01)
a1b062 98.40 (-0.00) 96.11 (+0.01) 93.22 (-0.02) 287.73 (-0.00)
1d9d7c 98.86 (+0.01) 94.76 (-0.01) 95.23 (+0.02) 288.85 (+0.01)
3569c1 97.61 (-0.02) 95.46 (-0.00) 93.07 (-0.01) 286.15 (-0.01)
eaff14 100.10 (+0.01) 95.55 (+0.02) 93.62 (-0.03) 289.28 (-0.00)
f383b4 99.09 (-0.02) 94.03 (-0.02) 96.80 (-0.00) 289.92 (-0.01)
f383b4 101.51 (+0.08) 95.54 (+0.04) 96.90 (+0.07) 293.96 (+0.07)
f383b4 93.89 (-0.01) 91.63 (-0.02) 90.16 (-0.02) 275.67 (-0.02)
a4256b 94.91 (-0.04) 93.60 (-0.01) 91.58 (-0.02) 280.09 (-0.02)
371493 98.88 (+0.04) 94.22 (-0.03) 93.68 (-0.00) 286.78 (+0.00)
c5c143 95.43 (+0.01) 97.07 (+0.07) 93.82 (+0.03) 286.31 (+0.04)
58fa4f 94.88 (-0.00) 90.36 (-0.02) 90.94 (-0.02) 276.17 (-0.01)
121d53 95.36 (-0.04) 92.54 (-0.00) 92.36 (+0.01) 280.26 (-0.01)
121d53 98.91 (+0.04) 92.92 (+0.02) 91.79 (-0.02) 283.62 (+0.01)
ec3a3a 95.23 (+0.00) 90.90 (-0.07) 93.95 (+0.01) 280.08 (-0.02)
96e783 94.93 (-0.04) 97.40 (+0.05) 92.65 (-0.04) 284.99 (-0.01)
567b71 98.92 (+0.02) 92.85 (-0.02) 96.18 (+0.05) 287.95 (+0.02)
847fc5 97.09 (+0.02) 94.28 (+0.04) 91.79 (+0.03) 283.16 (+0.03)
5e08b3 95.39 (-0.03) 90.62 (-0.06) 88.71 (-0.07) 274.72 (-0.05)
4d291d 98.70 (+0.03) 96.21 (+0.02) 95.69 (+0.03) 290.60 (+0.03)
4d291d 96.06 (-0.02) 94.15 (+0.00) 93.26 (+0.02) 283.47 (+0.00)
bf63f1 98.00 (+0.04) 93.74 (+0.01) 91.66 (-0.01) 283.40 (+0.01)
0a0958 94.28 (+0.00) 92.44 (+0.03) 92.55 (+0.02) 279.27 (+0.02)
aabca5 94.20 (-0.02) 89.38 (-0.05) 90.65 (-0.04) 274.23 (-0.04)
a4be54 96.19 (+0.01) 94.10 (+0.04) 94.14 (+0.04) 284.43 (+0.03)
a3d7ad 95.03 (+0.02) 90.48 (+0.01) 90.46 (+0.00) 275.97 (+0.01)
a3d7ad 92.93 (-0.00) 89.67 (-0.01) 90.32 (-0.00) 272.92 (-0.01)
8ba169 93.28 (+0.00) 90.75 (-0.01) 90.45 (-0.00) 274.48 (-0.00)
e5cc2f 93.01 (-0.01) 92.13 (-0.04) 90.47 (-0.04) 275.61 (-0.03)
c6b56d 94.21 (-0.01) 95.78 (+0.05) 94.49 (+0.03) 284.48 (+0.02)
e067cd 95.42 (-0.00) 91.24 (+0.01) 91.59 (+0.01) 278.26 (+0.01)
bce423 95.69 (+0.06) 90.35 (+0.02) 90.82 (+0.03) 276.87 (+0.04)
bce423 90.65 (-0.04) 88.42 (-0.04) 87.88 (-0.03) 266.95 (-0.03)
c28bfd 94.48 (-0.00) 91.85 (+0.02) 90.30 (-0.00) 276.62 (+0.01)
95bf19 94.60 (+0.03) 89.99 (+0.02) 90.50 (+0.03) 275.09 (+0.03)
95bf19 91.82 (-0.03) 88.45 (-0.02) 87.63 (-0.02) 267.90 (-0.02)
080752 94.80 (+0.06) 90.09 (+0.01) 89.12 (+0.01) 274.01 (+0.03)
23d5e2 89.29 (-0.06) 89.13 (-0.04) 88.28 (-0.03) 266.70 (-0.05)
23d5e2 94.84 (+0.01) 93.18 (+0.05) 91.29 (+0.03) 279.31 (+0.03)
8b710b 93.86 (-0.03) 89.02 (+82.08) 88.55 (+92.76) 271.42 (+1.76)
8c6e60 96.41 (-0.02) 1.07 (-0.00) 0.94 (+0.01) 98.42 (-0.02)
10dae7 98.34 (+0.06) 1.07 (+0.08) 0.93 (+0.09) 100.34 (+0.06)
4c4d3d 92.54 (-0.03) 0.99 (-0.07) 0.85 (-0.08) 94.39 (-0.03)
9f94d0 95.24 (+0.02) 1.06 (-0.06) 0.92 (+0.03) 97.22 (+0.02)
9f94d0 93.37 (+0.02) 1.13 (+0.18) 0.89 (-0.00) 95.40 (+0.02)
9f94d0 91.77 (+0.01) 0.96 (-0.00) 0.89 (-0.04) 93.62 (+0.01)
c700c7 91.08 (-0.01) 0.96 (-0.86) 0.93 (-0.10) 92.98 (-0.07)
42c6dd 91.59 (-0.00) 7.03 (+6.17) 1.04 (-0.04) 99.66 (+0.06)
f6bf7b 91.61 (+0.02) 0.98 (-0.01) 1.08 (+0.24) 93.67 (+0.02)
1137b5 90.18 (+0.02) 0.99 (-0.32) 0.87 (-0.16) 92.05 (+0.01)
1468c6 88.68 (-0.02) 1.46 (-0.75) 1.03 (-0.02) 91.18 (-0.06)
1468c6 90.10 (+0.03) 5.84 (+4.46) 1.05 (+0.07) 97.00 (+0.08)
c01f92 87.71 (-0.06) 1.07 (-0.01) 0.98 (+0.15) 89.76 (-0.06)
7ff591 93.13 (+0.08) 1.08 (+0.01) 0.85 (+0.00) 95.07 (+0.08)
5d4774 85.88 (-0.06) 1.07 (-0.99) 0.85 (-0.99) 87.81 (-0.68)
56d8c2 91.07 (+0.01) 89.42 (+0.03) 89.80 (+0.02) 270.29 (+0.02)
12e6f4 90.17 (-0.03) 86.94 (-0.02) 88.28 (-0.00) 265.39 (-0.02)
12e6f4 93.11 (-0.02) 88.45 (-0.05) 88.44 (-0.01) 270.00 (-0.03)
61194a 95.29 (-0.07) 93.16 (-0.04) 89.34 (-0.07) 277.78 (-0.06)
70ce01 102.96 (+0.00) 97.41 (+0.04) 96.28 (+0.05) 296.65 (+0.03)
c04c20 102.57 (+0.06) 94.02 (-0.01) 91.69 (-0.03) 288.28 (+0.01)
827ee1 96.56 (+0.02) 94.54 (+0.02) 94.78 (+0.02) 285.89 (+0.02)
22ae67 94.34 (-0.02) 92.87 (-0.00) 92.49 (-0.01) 279.70 (-0.01)
0f4458 96.60 (+0.02) 93.17 (+0.01) 93.49 (+0.03) 283.26 (+0.02)
0f4458 94.91 (+0.00) 91.88 (-0.02) 90.33 (-0.03) 277.11 (-0.02)
0f4458 94.90 (-0.03) 93.51 (-0.03) 92.99 (-0.01) 281.40 (-0.02)
b8a566 97.79 (-0.01) 96.65 (-0.01) 93.54 (-0.01) 287.98 (-0.01)
b8a566 98.60 (+0.01) 97.25 (+0.02) 94.91 (-0.03) 290.76 (-0.00)
9747e9 98.07 (+0.00) 95.36 (+0.01) 97.95 (+0.04) 291.39 (+0.02)
b50e07 98.04 (+0.04) 94.63 (+0.02) 94.00 (+0.02) 286.68 (+0.03)
6a57d5 93.89 (-0.03) 92.80 (+0.02) 92.14 (+0.03) 278.84 (+0.01)
c0480f 96.39 (+0.04) 90.86 (-0.00) 89.67 (-0.05) 276.93 (-0.00)
4f443c 92.67 (-0.01) 91.13 (-0.01) 94.11 (+0.04) 277.92 (+0.00)
4f443c 93.49 (-0.06) 92.20 (-0.04) 90.90 (-0.02) 276.59 (-0.04)
788823 99.40 (-0.77) 95.67 (-0.79) 92.45 (-0.79) 287.52 (-0.78)
c21104 431.44 (+3.42) 450.49 (+3.70) 447.80 (+3.79) 1329.73 (+3.64)
b9544a 97.50 (+0.04) 95.80 (+0.03) 93.55 (+0.01) 286.86 (+0.03)
33834c 94.13 (-0.01) 92.64 (-0.02) 92.43 (-0.01) 279.20 (-0.01)
521667 95.39 (+0.04) 94.41 (+0.03) 93.38 (+0.04) 283.19 (+0.03)
361648 91.55 (+0.02) 92.01 (+0.02) 90.22 (+0.00) 273.78 (+0.01)
fc0629 89.92 90.28 90.04 270.24

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query20]

platform: rds-aurora

revision Q20/1 Q20/2 Q20/3 total_duration
41aa62 77.85 (+0.04) 74.27 (+0.01) 77.59 (+0.04) 229.72 (+0.03)
7b5489 75.04 (-0.12) 73.50 (-0.11) 74.59 (-0.09) 223.14 (-0.11)
a23b07 85.05 (+0.14) 82.51 (+0.07) 81.92 (+0.12) 249.48 (+0.11)
cc2d00 74.74 (+0.05) 77.40 (+0.13) 73.40 (+0.07) 225.54 (+0.08)
ba9df2 70.90 (+0.18) 68.32 (+0.18) 68.88 (+0.18) 208.10 (+0.18)
a8f354 60.19 (+0.06) 57.77 (+0.01) 58.24 (+0.04) 176.19 (+0.04)
7feb0d 56.85 (-0.09) 57.02 (-0.09) 55.90 (-0.10) 169.78 (-0.09)
982fce 62.27 (+0.13) 62.42 (+0.10) 61.77 (+0.16) 186.47 (+0.13)
1f151d 55.30 (+0.04) 56.99 (+0.05) 53.42 (-0.00) 165.71 (+0.03)
ff1a1a 53.09 (-0.23) 54.22 (-0.18) 53.60 (-0.17) 160.91 (-0.19)
b1477b 69.10 (+0.05) 66.19 (+0.02) 64.29 (+0.02) 199.58 (+0.03)
1b947f 65.91 (-0.08) 65.00 (-0.05) 62.90 (-0.12) 193.80 (-0.08)
a21b55 71.88 (+0.01) 68.08 (+0.02) 71.41 (+0.04) 211.37 (+0.02)
4ba950 70.92 (+0.13) 67.00 (+0.06) 68.67 (+0.13) 206.60 (+0.11)
4e359d 62.79 (-0.00) 62.93 (+0.02) 60.67 (+0.01) 186.39 (+0.01)
3837fc 62.97 (+0.10) 61.72 (+0.16) 59.88 (+0.15) 184.58 (+0.14)
edcf4d 57.05 (+0.03) 52.99 (-0.00) 52.09 (-0.04) 162.14 (-0.00)
411c71 55.13 (-0.09) 53.09 (-0.09) 54.12 (-0.06) 162.35 (-0.08)
854348 60.42 (+0.04) 58.39 (+0.02) 57.61 (+0.01) 176.42 (+0.02)
7ba5c2 58.16 (-0.01) 57.18 (-0.02) 56.80 (-0.06) 172.14 (-0.03)
ebea29 58.59 (-0.03) 58.14 (+0.00) 60.69 (+0.07) 177.41 (+0.01)
22c890 60.32 (+0.06) 58.07 (+0.03) 56.55 (+0.02) 174.94 (+0.04)
f0b2e0 56.69 (+0.06) 56.52 (+0.03) 55.68 (-0.01) 168.89 (+0.03)
dec580 53.68 (+0.05) 54.63 (+0.04) 55.96 (+0.05) 164.28 (+0.04)
dec580 51.32 (-0.05) 52.53 (-0.03) 53.49 (-0.01) 157.34 (-0.03)
b1c2a6 54.21 (-0.02) 53.91 (-0.00) 53.82 (-0.01) 161.95 (-0.01)
931094 55.53 (+0.00) 54.10 (+0.09) 54.48 (+0.02) 164.12 (+0.04)
957acb 55.31 (+0.05) 49.50 (-0.06) 53.59 (+0.07) 158.40 (+0.02)
846532 52.63 (+0.00) 52.91 (+0.05) 49.91 (-0.04) 155.44 (+0.00)
d733bc 52.49 (+0.02) 50.42 (+0.00) 51.77 (+0.01) 154.68 (+0.01)
75ffe3 51.50 (-0.01) 50.42 (-0.00) 51.20 (+0.04) 153.11 (+0.01)
75ffe3 51.96 (-0.20) 50.58 (-0.21) 49.00 (-0.24) 151.55 (-0.22)
bf4623 64.85 (-0.02) 63.95 (-0.06) 64.47 (+0.02) 193.26 (-0.02)
b26c83 66.10 (+0.04) 67.81 (+0.08) 63.41 (+0.02) 197.32 (+0.05)
9d714a 63.80 (-0.01) 62.98 (-0.03) 61.91 (-0.03) 188.69 (-0.02)
6efea4 64.48 (-0.05) 64.62 (-0.04) 64.10 (-0.02) 193.20 (-0.04)
4071ff 67.81 (+0.07) 67.28 (+0.08) 65.20 (+0.05) 200.29 (+0.07)
4071ff 63.18 (-0.02) 62.28 (-0.02) 62.03 (-0.03) 187.49 (-0.02)
870ba4 64.24 (+0.02) 63.79 (-0.02) 63.89 (+0.01) 191.92 (+0.01)
f5ca89 62.77 (-0.02) 64.90 (+0.03) 63.27 (-0.01) 190.94 (+0.00)
8bd565 63.79 (+0.03) 63.08 (-0.01) 63.70 (+0.02) 190.58 (+0.01)
dd22c8 62.00 (-0.06) 63.68 (-0.02) 62.34 (-0.04) 188.01 (-0.04)
299db9 65.66 (+0.01) 65.10 (+0.04) 64.86 (+0.05) 195.62 (+0.03)
93f3f4 65.33 (-0.03) 62.88 (-0.02) 61.80 (+0.01) 190.00 (-0.01)
f6e2e0 67.42 (+0.04) 64.18 (+0.00) 61.10 (+0.00) 192.70 (+0.01)
f6e2e0 65.14 (-0.06) 63.91 (-0.01) 61.03 (-0.04) 190.08 (-0.04)
f6e2e0 69.01 (+0.05) 64.49 (+0.01) 63.48 (+0.00) 196.98 (+0.02)
f1d960 65.61 (-0.01) 63.80 (+0.02) 63.20 (+0.03) 192.61 (+0.01)
4a9279 66.16 (-0.02) 62.70 (-0.07) 61.49 (-0.07) 190.34 (-0.05)
2e4bf7 67.66 (+0.01) 67.51 (+0.07) 65.78 (+0.07) 200.96 (+0.05)
ce8fbb 66.94 (+0.05) 62.99 (-0.03) 61.22 (-0.04) 191.16 (-0.01)
ce8fbb 63.64 (-0.07) 65.10 (+0.05) 63.80 (+0.05) 192.54 (+0.01)
ce8fbb 68.17 (+0.01) 61.88 (-0.05) 61.00 (-0.04) 191.06 (-0.02)
d1a0f2 67.30 (+0.01) 64.91 (+0.03) 63.69 (+0.04) 195.89 (+0.02)
ccf92d 66.95 (-0.01) 63.11 (-0.02) 61.45 (-0.02) 191.52 (-0.02)
02b8e0 67.48 (+0.00) 64.28 (+0.00) 63.02 (+0.00) 194.78 (+0.00)
7b9057 67.29 (+0.03) 63.99 (+0.01) 62.89 (+0.02) 194.17 (+0.02)
9cada8 65.15 (-0.01) 63.12 (-0.04) 61.90 (-0.04) 190.17 (-0.03)
9cada8 66.12 (+0.02) 65.88 (+0.06) 64.30 (+0.05) 196.31 (+0.04)
9cada8 65.02 (+0.02) 62.00 (-0.05) 61.31 (+0.00) 188.33 (-0.01)
a60f68 63.77 (-0.05) 65.04 (+0.06) 61.15 (-0.01) 189.96 (-0.00)
d19c52 67.18 (-0.02) 61.28 (-0.05) 61.52 (-0.03) 189.98 (-0.03)
000eb1 68.50 (+0.06) 64.50 (-0.03) 63.68 (-0.01) 196.68 (+0.00)
000eb1 64.80 (-0.01) 66.82 (+0.06) 64.41 (-0.00) 196.03 (+0.01)
f51b48 65.60 (+0.04) 63.21 (+0.00) 64.51 (+0.05) 193.31 (+0.03)
f51b48 63.22 (+0.02) 62.92 (+0.03) 61.60 (+0.02) 187.74 (+0.03)
f51b48 61.76 (-0.09) 60.89 (-0.04) 60.21 (-0.06) 182.86 (-0.06)
9f906f 67.98 (+0.16) 63.28 (+0.09) 63.81 (+0.13) 195.08 (+0.13)
0692ff 58.46 (-0.01) 57.80 (+0.01) 56.68 (-0.03) 172.94 (-0.01)
2caece 58.89 (+0.01) 57.10 (-0.01) 58.62 (+0.04) 174.62 (+0.01)
bc7d3c 58.33 (-0.00) 57.81 (-0.02) 56.58 (-0.06) 172.72 (-0.03)
2153d2 58.44 (-0.01) 59.23 (+0.02) 59.88 (+0.00) 177.55 (+0.01)
2153d2 58.76 (-0.00) 57.93 (-0.03) 59.68 (+0.05) 176.37 (+0.01)
2153d2 58.94 (-0.04) 59.70 (+0.01) 56.69 (-0.03) 175.32 (-0.02)
a1b062 61.64 (+0.02) 58.92 (-0.01) 58.17 (+0.02) 178.74 (+0.01)
1d9d7c 60.30 (+0.04) 59.23 (+0.01) 57.27 (+0.00) 176.80 (+0.02)
3569c1 57.82 (-0.05) 58.82 (+0.04) 57.01 (+0.02) 173.66 (+0.00)
eaff14 60.60 (+0.04) 56.40 (-0.02) 55.83 (+0.00) 172.83 (+0.01)
f383b4 58.33 (-0.03) 57.50 (-0.03) 55.63 (-0.03) 171.46 (-0.03)
f383b4 60.06 (+0.02) 59.21 (+0.01) 57.62 (+0.00) 176.89 (+0.01)
f383b4 58.67 (+0.05) 58.50 (+0.05) 57.59 (+0.05) 174.77 (+0.05)
a4256b 55.93 (-0.06) 55.69 (-0.07) 54.89 (-0.07) 166.51 (-0.06)
371493 59.34 (+0.03) 59.71 (+0.07) 59.00 (+0.07) 178.05 (+0.06)
c5c143 57.62 (+0.00) 55.88 (-0.05) 54.91 (-0.06) 168.42 (-0.04)
58fa4f 57.47 (-0.04) 58.90 (-0.01) 58.60 (+0.01) 174.97 (-0.01)
121d53 60.03 (+0.07) 59.48 (+0.07) 57.99 (+0.04) 177.50 (+0.06)
121d53 55.92 (-0.00) 55.62 (+0.01) 55.70 (+0.01) 167.24 (+0.01)
ec3a3a 55.98 (-0.02) 55.13 (+0.00) 55.29 (+0.00) 166.41 (-0.00)
96e783 56.92 (-0.07) 55.00 (-0.05) 55.20 (+0.01) 167.12 (-0.04)
567b71 60.98 (+0.02) 58.00 (+0.04) 54.90 (-0.03) 173.88 (+0.01)
847fc5 59.60 (+0.00) 56.02 (-0.01) 56.60 (+0.02) 172.22 (+0.00)
5e08b3 59.52 (+0.06) 56.79 (+0.04) 55.73 (+0.05) 172.05 (+0.05)
4d291d 56.02 (-0.01) 54.62 (+0.03) 53.09 (-0.09) 163.73 (-0.02)
4d291d 56.53 (+0.01) 52.89 (-0.06) 58.33 (+0.08) 167.75 (+0.01)
bf63f1 55.73 (-0.03) 55.99 (+0.01) 54.20 (-0.01) 165.92 (-0.01)
0a0958 57.53 (+0.02) 55.59 (+0.03) 54.63 (+0.06) 167.75 (+0.04)
aabca5 56.53 (+0.00) 54.01 (-0.00) 51.38 (-0.03) 161.92 (-0.01)
a4be54 56.37 (+0.02) 54.19 (-0.04) 53.21 (-0.01) 163.78 (-0.01)
a3d7ad 55.51 (-0.01) 56.39 (+0.03) 53.79 (+0.03) 165.70 (+0.02)
a3d7ad 55.83 (-0.02) 55.00 (-0.02) 52.07 (-0.05) 162.90 (-0.03)
8ba169 57.21 (-0.01) 56.40 (+0.01) 54.63 (+0.04) 168.24 (+0.01)
e5cc2f 57.77 (+0.09) 55.58 (+0.03) 52.52 (-0.09) 165.88 (+0.01)
c6b56d 52.85 (-0.05) 53.78 (-0.01) 57.88 (+0.13) 164.52 (+0.02)
e067cd 55.44 (+0.02) 54.20 (+0.02) 51.37 (-0.03) 161.02 (+0.00)
bce423 54.31 (-0.02) 53.31 (-0.02) 53.08 (+0.00) 160.71 (-0.01)
bce423 55.49 (+0.05) 54.23 (+0.03) 52.98 (+0.01) 162.70 (+0.03)
c28bfd 52.60 (-0.04) 52.60 (-0.00) 52.50 (-0.02) 157.69 (-0.02)
95bf19 54.94 (-0.03) 52.77 (-0.05) 53.72 (-0.02) 161.43 (-0.03)
95bf19 56.60 (+0.04) 55.52 (+0.02) 54.61 (-0.01) 166.72 (+0.02)
080752 54.50 (-0.02) 54.29 (+0.02) 55.31 (+0.06) 164.10 (+0.02)
23d5e2 55.38 (+0.03) 53.18 (-0.03) 52.30 (-0.05) 160.86 (-0.02)
23d5e2 53.81 (-0.00) 54.86 (+0.03) 55.01 (+0.06) 163.69 (+0.03)
8b710b 53.89 (-0.04) 53.39 (+0.08) 52.02 (+0.09) 159.30 (+0.04)
8c6e60 56.13 (-0.03) 49.50 (+0.02) 47.77 (-0.08) 153.40 (-0.03)
10dae7 58.02 (+0.07) 48.50 (+0.00) 51.91 (+0.09) 158.44 (+0.05)
4c4d3d 54.22 (-0.04) 48.39 (+0.02) 47.60 (-0.03) 150.22 (-0.02)
9f94d0 56.23 (+0.01) 47.39 (-0.05) 49.30 (+0.00) 152.92 (-0.01)
9f94d0 55.60 (+0.10) 49.70 (+0.05) 49.08 (+0.07) 154.38 (+0.07)
9f94d0 50.48 (-0.00) 47.12 (+0.03) 46.08 (+0.01) 143.68 (+0.01)
c700c7 50.62 (-0.05) 45.62 (-0.01) 45.70 (+0.00) 141.93 (-0.02)
42c6dd 53.52 (+0.06) 46.09 (-0.00) 45.50 (+0.02) 145.10 (+0.02)
f6bf7b 50.69 (-0.01) 46.29 (-0.01) 44.60 (-0.01) 141.59 (-0.01)
1137b5 51.16 (+0.04) 46.59 (+0.01) 44.99 (+0.01) 142.75 (+0.02)
1468c6 49.41 (-0.07) 46.30 (-0.01) 44.69 (-0.02) 140.40 (-0.03)
1468c6 53.01 (+0.03) 46.99 (+0.05) 45.40 (-0.03) 145.40 (+0.02)
c01f92 51.44 (+0.02) 44.82 (-0.02) 46.89 (-0.01) 143.14 (-0.00)
7ff591 50.48 (+0.03) 45.60 (+0.04) 47.50 (+0.07) 143.59 (+0.05)
5d4774 48.81 (-0.09) 43.79 (-0.14) 44.59 (-0.19) 137.19 (-0.14)
56d8c2 53.80 (+0.00) 51.20 (-0.02) 54.80 (+0.09) 159.81 (+0.02)
12e6f4 53.61 (-0.04) 52.10 (-0.05) 50.40 (-0.03) 156.11 (-0.04)
12e6f4 55.82 (+0.05) 54.61 (+0.04) 52.08 (-0.02) 162.51 (+0.02)
61194a 53.41 (-0.14) 52.62 (-0.13) 52.99 (-0.11) 159.01 (-0.13)
70ce01 62.12 (+0.04) 60.78 (+0.03) 59.72 (+0.01) 182.62 (+0.03)
c04c20 59.61 (+0.01) 58.90 (+0.02) 59.13 (+0.00) 177.64 (+0.01)
827ee1 58.88 (-0.04) 57.62 (-0.02) 58.89 (+0.01) 175.39 (-0.02)
22ae67 61.46 (+0.04) 58.60 (+0.03) 58.17 (+0.04) 178.23 (+0.04)
0f4458 59.15 (-0.02) 56.90 (-0.06) 55.90 (-0.06) 171.96 (-0.05)
0f4458 60.23 (+0.03) 60.79 (+0.04) 59.20 (+0.00) 180.22 (+0.03)
0f4458 58.50 (-0.02) 58.29 (-0.03) 58.93 (-0.03) 175.71 (-0.03)
b8a566 59.92 (-0.01) 60.19 (+0.00) 60.50 (+0.00) 180.62 (-0.00)
b8a566 60.64 (+0.00) 60.09 (+0.02) 60.39 (+0.05) 181.12 (+0.03)
9747e9 60.35 (+0.00) 58.69 (+0.02) 57.41 (+0.02) 176.46 (+0.01)
b50e07 60.10 (+0.01) 57.59 (-0.03) 56.41 (-0.02) 174.11 (-0.01)
6a57d5 59.43 (+0.00) 59.62 (+0.03) 57.49 (+0.07) 176.55 (+0.03)
c0480f 59.37 (+0.00) 58.00 (-0.01) 53.61 (-0.04) 170.98 (-0.01)
4f443c 59.27 (+0.04) 58.38 (+0.02) 55.91 (-0.02) 173.56 (+0.01)
4f443c 56.79 (-0.02) 57.26 (-0.01) 57.24 (+0.02) 171.29 (-0.00)
788823 58.09 (-0.33) 57.79 (-0.27) 56.00 (-0.24) 171.88 (-0.28)
c21104 86.19 (+0.42) 78.77 (+0.30) 73.32 (+0.28) 238.29 (+0.34)
b9544a 60.60 (+0.02) 60.50 (+0.05) 57.22 (+0.01) 178.32 (+0.03)
33834c 59.29 (+0.06) 57.79 (+0.04) 56.51 (+0.03) 173.59 (+0.04)
521667 56.19 (+0.01) 55.66 (+0.06) 54.82 (-0.00) 166.67 (+0.02)
361648 55.72 (+0.00) 52.51 (-0.05) 54.88 (+0.00) 163.11 (-0.01)
fc0629 55.69 55.19 54.62 165.50

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query21]

platform: rds-aurora

revision Q21/1 Q21/2 Q21/3 total_duration
41aa62 80.99 (+0.03) 78.90 (+0.04) 78.20 (-0.01) 238.09 (+0.02)
7b5489 78.39 (-0.11) 75.92 (-0.13) 78.80 (-0.08) 233.10 (-0.11)
a23b07 88.22 (+0.13) 87.60 (+0.14) 85.80 (+0.04) 261.61 (+0.10)
cc2d00 77.85 (+0.06) 76.58 (+0.01) 82.69 (+0.17) 237.12 (+0.08)
ba9df2 73.47 (+0.18) 75.99 (+0.26) 70.52 (+0.13) 219.98 (+0.19)
a8f354 62.13 (+0.05) 60.38 (+0.04) 62.50 (+0.08) 185.01 (+0.06)
7feb0d 59.43 (-0.11) 58.07 (-0.10) 57.83 (-0.11) 175.34 (-0.11)
982fce 66.42 (+0.19) 64.78 (+0.16) 65.11 (+0.18) 196.31 (+0.18)
1f151d 55.61 (-0.04) 56.00 (-0.03) 55.08 (-0.02) 166.70 (-0.03)
ff1a1a 57.84 (-0.13) 57.52 (-0.16) 56.27 (-0.19) 171.62 (-0.16)
b1477b 66.38 (-0.00) 68.60 (+0.03) 69.78 (+0.01) 204.76 (+0.01)
1b947f 66.45 (-0.08) 66.90 (-0.09) 69.42 (-0.10) 202.76 (-0.09)
a21b55 72.57 (+0.01) 73.90 (+0.01) 76.99 (+0.07) 223.45 (+0.03)
4ba950 71.66 (+0.04) 73.20 (+0.11) 72.11 (+0.11) 216.98 (+0.09)
4e359d 68.71 (+0.11) 66.13 (+0.01) 64.69 (-0.03) 199.53 (+0.03)
3837fc 61.81 (+0.09) 65.41 (+0.14) 66.42 (+0.18) 193.64 (+0.14)
edcf4d 56.54 (-0.02) 57.30 (-0.02) 56.41 (-0.03) 170.25 (-0.02)
411c71 57.94 (-0.07) 58.42 (-0.07) 58.20 (-0.06) 174.55 (-0.07)
854348 62.42 (+0.02) 63.14 (+0.05) 61.78 (+0.03) 187.34 (+0.03)
7ba5c2 61.41 (+0.03) 60.39 (-0.06) 59.72 (-0.03) 181.53 (-0.02)
ebea29 59.77 (+0.00) 64.00 (+0.05) 61.59 (+0.01) 185.35 (+0.02)
22c890 59.71 (+0.05) 61.09 (+0.01) 61.03 (+0.04) 181.83 (+0.03)
f0b2e0 57.05 (-0.02) 60.27 (+0.06) 58.71 (+0.06) 176.04 (+0.03)
dec580 58.30 (+0.05) 56.86 (+0.03) 55.53 (+0.04) 170.69 (+0.04)
dec580 55.56 (-0.01) 54.99 (-0.02) 53.49 (-0.07) 164.05 (-0.03)
b1c2a6 56.11 (-0.02) 55.92 (-0.01) 57.29 (+0.01) 169.32 (-0.00)
931094 57.05 (+0.01) 56.30 (-0.04) 56.51 (+0.00) 169.87 (-0.01)
957acb 56.66 (+0.03) 58.49 (+0.04) 56.28 (+0.02) 171.44 (+0.03)
846532 55.26 (+0.02) 56.40 (+0.06) 55.29 (+0.01) 166.96 (+0.03)
d733bc 54.15 (-0.03) 53.41 (-0.01) 54.52 (-0.04) 162.09 (-0.03)
75ffe3 55.70 (+0.03) 53.73 (+0.01) 56.88 (+0.06) 166.31 (+0.03)
75ffe3 53.84 (-0.19) 53.04 (-0.19) 53.89 (-0.16) 160.77 (-0.18)
bf4623 66.83 (-0.03) 65.47 (-0.05) 64.00 (-0.11) 196.30 (-0.07)
b26c83 69.25 (+0.02) 68.71 (-0.00) 72.28 (+0.07) 210.24 (+0.03)
9d714a 67.64 (-0.02) 69.00 (-0.02) 67.71 (-0.03) 204.35 (-0.02)
6efea4 68.76 (-0.03) 70.29 (-0.01) 69.49 (+0.01) 208.54 (-0.01)
4071ff 70.72 (+0.08) 71.29 (+0.09) 68.71 (+0.08) 210.72 (+0.08)
4071ff 65.42 (-0.04) 65.41 (-0.02) 63.61 (-0.03) 194.44 (-0.03)
870ba4 67.97 (-0.04) 66.71 (+0.02) 65.38 (+0.01) 200.06 (-0.01)
f5ca89 70.96 (+0.04) 65.41 (-0.06) 64.79 (-0.03) 201.17 (-0.01)
8bd565 68.02 (+0.03) 69.69 (+0.07) 66.52 (+0.03) 204.23 (+0.04)
dd22c8 65.73 (+0.01) 65.39 (-0.00) 64.54 (-0.03) 195.66 (-0.01)
299db9 65.25 (+0.01) 65.63 (-0.03) 66.37 (-0.01) 197.25 (-0.01)
93f3f4 64.65 (-0.03) 67.90 (-0.04) 66.71 (-0.05) 199.26 (-0.04)
f6e2e0 66.66 (+0.02) 71.00 (+0.07) 70.42 (-0.01) 208.07 (+0.02)
f6e2e0 65.52 (-0.03) 66.29 (-0.01) 71.49 (-0.03) 203.30 (-0.02)
f6e2e0 67.36 (+0.02) 66.91 (-0.01) 73.90 (+0.02) 208.17 (+0.01)
f1d960 65.96 (-0.05) 67.81 (-0.02) 72.50 (+0.09) 206.27 (+0.01)
4a9279 69.75 (-0.01) 68.96 (+0.00) 66.23 (-0.04) 204.94 (-0.02)
2e4bf7 70.44 (+0.09) 68.80 (+0.02) 69.30 (+0.02) 208.54 (+0.04)
ce8fbb 64.88 (-0.09) 67.48 (-0.03) 67.99 (+0.06) 200.35 (-0.02)
ce8fbb 71.18 (+0.08) 69.80 (+0.07) 64.38 (-0.03) 205.37 (+0.04)
ce8fbb 65.91 (-0.01) 65.52 (-0.01) 66.48 (+0.01) 197.91 (-0.00)
d1a0f2 66.47 (+0.01) 65.98 (-0.03) 65.72 (-0.01) 198.17 (-0.01)
ccf92d 66.05 (-0.01) 67.69 (-0.01) 66.10 (-0.02) 199.85 (-0.01)
02b8e0 66.63 (-0.02) 68.21 (-0.01) 67.59 (-0.01) 202.44 (-0.01)
7b9057 68.27 (+0.05) 69.07 (+0.06) 68.03 (-0.00) 205.37 (+0.03)
9cada8 65.14 (-0.02) 65.02 (-0.03) 68.28 (-0.05) 198.44 (-0.03)
9cada8 66.66 (+0.05) 67.31 (+0.01) 71.58 (+0.09) 205.55 (+0.05)
9cada8 63.72 (-0.03) 66.51 (+0.02) 65.60 (+0.01) 195.83 (-0.00)
a60f68 66.02 (-0.02) 65.00 (-0.04) 65.19 (-0.02) 196.21 (-0.03)
d19c52 67.20 (+0.01) 67.68 (-0.05) 66.83 (-0.00) 201.71 (-0.02)
000eb1 66.32 (-0.02) 71.48 (+0.05) 67.01 (-0.07) 204.81 (-0.01)
000eb1 67.33 (-0.01) 67.99 (+0.05) 71.78 (+0.04) 207.11 (+0.03)
f51b48 68.14 (+0.04) 64.85 (-0.01) 68.98 (+0.05) 201.97 (+0.03)
f51b48 65.23 (-0.01) 65.79 (+0.00) 65.71 (+0.03) 196.73 (+0.01)
f51b48 65.62 (-0.02) 65.50 (+0.02) 64.02 (-0.05) 195.15 (-0.02)
9f906f 67.17 (+0.05) 64.50 (-0.00) 67.48 (+0.06) 199.16 (+0.04)
0692ff 63.87 (+0.02) 64.59 (+0.03) 63.41 (+0.03) 191.88 (+0.03)
2caece 62.51 (+0.08) 62.50 (+0.04) 61.68 (-0.02) 186.69 (+0.03)
bc7d3c 58.08 (-0.07) 60.07 (-0.01) 62.83 (-0.00) 180.99 (-0.03)
2153d2 62.66 (+0.01) 60.92 (-0.05) 62.97 (+0.03) 186.55 (-0.01)
2153d2 62.14 (+0.04) 64.22 (+0.09) 61.30 (+0.03) 187.66 (+0.05)
2153d2 59.72 (+0.00) 59.09 (-0.03) 59.39 (-0.06) 178.21 (-0.03)
a1b062 59.44 (+0.01) 60.63 (-0.00) 62.98 (+0.02) 183.06 (+0.01)
1d9d7c 58.95 (-0.06) 60.82 (+0.02) 61.79 (+0.05) 181.56 (+0.00)
3569c1 62.71 (+0.03) 59.42 (-0.03) 58.68 (-0.02) 180.81 (-0.01)
eaff14 60.93 (+0.03) 61.29 (+0.00) 59.92 (-0.06) 182.14 (-0.01)
f383b4 59.08 (-0.05) 61.12 (-0.08) 63.78 (+0.01) 183.99 (-0.04)
f383b4 62.43 (+0.04) 66.39 (+0.10) 63.00 (-0.00) 191.82 (+0.04)
f383b4 60.23 (-0.02) 60.38 (+0.05) 63.18 (+0.12) 183.80 (+0.05)
a4256b 61.15 (+0.01) 57.62 (-0.02) 56.60 (-0.04) 175.38 (-0.02)
371493 60.31 (-0.01) 59.02 (-0.06) 58.91 (-0.02) 178.23 (-0.03)
c5c143 60.87 (+0.00) 62.58 (+0.03) 60.31 (+0.01) 183.76 (+0.01)
58fa4f 60.71 (+0.04) 60.90 (+0.03) 59.69 (-0.01) 181.31 (+0.02)
121d53 58.39 (-0.01) 58.97 (-0.00) 60.06 (+0.01) 177.42 (-0.00)
121d53 59.14 (+0.01) 59.21 (+0.02) 59.52 (-0.01) 177.87 (+0.01)
ec3a3a 58.75 (+0.01) 58.01 (-0.01) 60.09 (+0.02) 176.85 (+0.01)
96e783 58.22 (+0.00) 58.70 (-0.00) 59.00 (-0.03) 175.92 (-0.01)
567b71 58.12 (-0.01) 58.90 (+0.01) 61.01 (+0.01) 178.03 (+0.00)
847fc5 58.83 (-0.00) 58.07 (+0.00) 60.30 (+0.01) 177.20 (+0.00)
5e08b3 59.03 (-0.04) 58.01 (-0.01) 59.99 (+0.05) 177.02 (-0.00)
4d291d 61.41 (+0.01) 58.41 (-0.00) 57.39 (-0.02) 177.21 (-0.00)
4d291d 60.95 (+0.07) 58.52 (+0.02) 58.49 (-0.04) 177.96 (+0.01)
bf63f1 57.06 (-0.07) 57.58 (-0.03) 60.90 (+0.04) 175.54 (-0.02)
0a0958 61.61 (+0.09) 59.60 (-0.02) 58.41 (-0.03) 179.62 (+0.01)
aabca5 56.58 (-0.08) 60.98 (+0.03) 60.19 (+0.01) 177.75 (-0.01)
a4be54 61.26 (+0.09) 59.01 (+0.04) 59.42 (-0.03) 179.69 (+0.03)
a3d7ad 56.39 (-0.02) 56.50 (-0.03) 61.50 (+0.03) 174.40 (-0.00)
a3d7ad 57.31 (-0.00) 58.22 (+0.06) 59.71 (-0.01) 175.24 (+0.01)
8ba169 57.46 (+0.01) 55.09 (-0.04) 60.27 (-0.01) 172.82 (-0.01)
e5cc2f 56.78 (-0.05) 57.67 (-0.01) 60.80 (+0.08) 175.25 (+0.01)
c6b56d 59.46 (+0.07) 58.21 (+0.04) 56.29 (-0.01) 173.96 (+0.03)
e067cd 55.73 (-0.00) 56.21 (+0.01) 56.99 (-0.01) 168.93 (-0.00)
bce423 55.97 (-0.02) 55.81 (-0.03) 57.49 (-0.00) 169.27 (-0.02)
bce423 56.86 (-0.00) 57.70 (+0.00) 57.61 (+0.04) 172.17 (+0.01)
c28bfd 56.86 (+0.02) 57.68 (+0.03) 55.63 (-0.02) 170.17 (+0.01)
95bf19 55.57 (-0.03) 56.07 (-0.01) 56.79 (-0.01) 168.44 (-0.02)
95bf19 57.46 (-0.01) 56.87 (-0.02) 57.61 (-0.00) 171.94 (-0.01)
080752 57.98 (+0.05) 57.98 (+0.05) 57.70 (+0.02) 173.66 (+0.04)
23d5e2 55.37 (-0.02) 55.29 (-0.00) 56.71 (-0.02) 167.37 (-0.01)
23d5e2 56.29 (+0.07) 55.40 (+0.01) 57.61 (+0.05) 169.30 (+0.04)
8b710b 52.71 (+0.03) 54.90 (+0.06) 54.83 (+0.12) 162.44 (+0.07)
8c6e60 51.41 (-0.02) 51.70 (+0.01) 49.09 (-0.02) 152.20 (-0.01)
10dae7 52.54 (+0.02) 51.33 (+0.05) 49.87 (+0.04) 153.74 (+0.03)
4c4d3d 51.44 (+0.00) 49.11 (-0.06) 48.08 (-0.05) 148.64 (-0.04)
9f94d0 51.44 (-0.02) 52.10 (+0.02) 50.53 (+0.05) 154.06 (+0.02)
9f94d0 52.69 (+0.06) 51.10 (+0.03) 47.90 (+0.01) 151.69 (+0.04)
9f94d0 49.76 (+0.08) 49.40 (+0.06) 47.21 (+0.04) 146.37 (+0.06)
c700c7 46.17 (-0.06) 46.61 (-0.01) 45.51 (-0.07) 138.29 (-0.04)
42c6dd 49.07 (-0.01) 46.90 (-0.02) 48.80 (+0.05) 144.77 (+0.01)
f6bf7b 49.69 (+0.04) 47.90 (+0.05) 46.40 (+0.00) 144.00 (+0.03)
1137b5 47.59 (+0.01) 45.58 (+0.02) 46.21 (-0.00) 139.39 (+0.01)
1468c6 47.06 (-0.01) 44.90 (-0.01) 46.29 (-0.01) 138.25 (-0.01)
1468c6 47.66 (+0.02) 45.39 (-0.06) 46.92 (-0.00) 139.96 (-0.01)
c01f92 46.55 (-0.06) 48.40 (+0.06) 46.93 (+0.02) 141.87 (+0.00)
7ff591 49.36 (+0.10) 45.81 (+0.01) 46.22 (+0.07) 141.39 (+0.06)
5d4774 44.79 (-0.19) 45.50 (-0.19) 43.12 (-0.23) 133.40 (-0.20)
56d8c2 55.27 (+0.01) 56.01 (+0.02) 55.78 (-0.02) 167.06 (+0.00)
12e6f4 54.56 (-0.00) 54.68 (-0.03) 57.01 (+0.03) 166.26 (-0.00)
12e6f4 54.81 (+0.02) 56.19 (+0.03) 55.60 (+0.01) 166.60 (+0.02)
61194a 53.72 (-0.19) 54.81 (-0.18) 54.88 (-0.14) 163.41 (-0.17)
70ce01 66.48 (+0.09) 66.99 (+0.11) 63.50 (+0.02) 196.97 (+0.07)
c04c20 61.25 (-0.02) 60.57 (-0.01) 62.41 (+0.03) 184.24 (+0.00)
827ee1 62.45 (-0.01) 60.92 (-0.01) 60.59 (-0.06) 183.96 (-0.03)
22ae67 63.17 (+0.04) 61.71 (+0.00) 64.60 (+0.05) 189.47 (+0.03)
0f4458 60.96 (-0.06) 61.49 (-0.03) 61.40 (+0.00) 183.86 (-0.03)
0f4458 64.80 (+0.04) 63.51 (+0.02) 61.23 (+0.01) 189.54 (+0.02)
0f4458 62.44 (-0.01) 62.23 (+0.02) 60.90 (-0.01) 185.57 (+0.00)
b8a566 63.18 (-0.04) 60.81 (-0.04) 61.36 (-0.03) 185.35 (-0.03)
b8a566 65.83 (+0.02) 63.07 (-0.01) 63.12 (+0.02) 192.03 (+0.01)
9747e9 64.36 (+0.07) 63.91 (+0.04) 61.58 (+0.03) 189.85 (+0.04)
b50e07 60.20 (+0.00) 61.69 (+0.01) 59.82 (-0.02) 181.71 (-0.00)
6a57d5 60.08 (+0.03) 61.28 (+0.05) 61.22 (+0.02) 182.57 (+0.04)
c0480f 58.37 (-0.03) 58.10 (-0.03) 59.91 (-0.02) 176.39 (-0.03)
4f443c 59.91 (-0.00) 60.10 (+0.02) 61.27 (+0.04) 181.29 (+0.02)
4f443c 60.00 (+0.01) 58.77 (-0.02) 58.92 (-0.03) 177.69 (-0.01)
788823 59.69 (-0.28) 60.23 (-0.27) 60.47 (-0.28) 180.39 (-0.28)
c21104 82.50 (+0.35) 83.00 (+0.34) 83.70 (+0.36) 249.20 (+0.35)
b9544a 61.11 (+0.00) 62.17 (+0.01) 61.50 (+0.02) 184.77 (+0.01)
33834c 60.83 (+0.04) 61.65 (+0.03) 60.29 (+0.05) 182.77 (+0.04)
521667 58.39 (-0.02) 59.88 (+0.04) 57.39 (+0.01) 175.66 (+0.01)
361648 59.82 (+0.03) 57.78 (+0.02) 56.70 (+0.01) 174.30 (+0.02)
fc0629 58.18 56.40 56.30 170.88

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query22]

platform: rds-aurora

revision Q22/1 Q22/2 Q22/3 total_duration
41aa62 80.46 (-0.01) 81.86 (+0.04) 80.91 (+0.06) 243.24 (+0.03)
7b5489 81.04 (-0.12) 78.71 (-0.13) 76.30 (-0.14) 236.06 (-0.13)
a23b07 91.78 (+0.14) 90.91 (+0.14) 89.19 (+0.13) 271.88 (+0.13)
cc2d00 80.69 (+0.04) 79.67 (+0.05) 79.24 (+0.02) 239.60 (+0.04)
ba9df2 77.66 (+0.23) 76.17 (+0.19) 77.52 (+0.22) 231.35 (+0.22)
a8f354 62.97 (+0.04) 63.89 (+0.06) 63.41 (+0.05) 190.26 (+0.05)
7feb0d 60.32 (-0.10) 60.50 (-0.13) 60.22 (-0.10) 181.05 (-0.11)
982fce 66.67 (+0.14) 69.67 (+0.16) 67.13 (+0.14) 203.47 (+0.14)
1f151d 58.63 (-0.02) 60.28 (+0.01) 58.81 (-0.02) 177.72 (-0.01)
ff1a1a 59.66 (-0.13) 59.90 (-0.14) 60.20 (-0.17) 179.76 (-0.15)
b1477b 68.96 (-0.02) 69.30 (-0.06) 72.50 (+0.03) 210.76 (-0.02)
1b947f 70.55 (-0.09) 73.79 (-0.01) 70.70 (-0.09) 215.03 (-0.06)
a21b55 77.65 (+0.00) 74.21 (+0.02) 77.48 (+0.02) 229.35 (+0.01)
4ba950 77.46 (+0.12) 72.79 (+0.08) 76.32 (+0.08) 226.57 (+0.09)
4e359d 68.86 (+0.05) 67.68 (+0.05) 70.51 (+0.11) 207.06 (+0.07)
3837fc 65.42 (+0.09) 64.62 (+0.13) 63.61 (+0.10) 193.65 (+0.11)
edcf4d 60.24 (-0.04) 57.09 (-0.03) 57.69 (-0.01) 175.02 (-0.03)
411c71 62.83 (+0.00) 58.75 (-0.06) 58.14 (-0.10) 179.72 (-0.05)
854348 62.63 (+0.02) 62.57 (-0.02) 64.31 (+0.03) 189.51 (+0.01)
7ba5c2 61.66 (-0.05) 63.71 (-0.02) 62.19 (-0.00) 187.57 (-0.02)
ebea29 64.57 (+0.05) 64.88 (+0.07) 62.27 (-0.00) 191.73 (+0.04)
22c890 61.64 (-0.03) 60.70 (+0.01) 62.40 (+0.04) 184.75 (+0.01)
f0b2e0 63.85 (+0.13) 59.81 (+0.06) 59.78 (+0.04) 183.45 (+0.08)
dec580 56.50 (-0.01) 56.55 (-0.05) 57.49 (-0.03) 170.54 (-0.03)
dec580 56.97 (+0.00) 59.46 (+0.03) 59.23 (+0.05) 175.67 (+0.03)
b1c2a6 56.84 (-0.03) 57.78 (-0.02) 56.39 (-0.02) 171.01 (-0.02)
931094 58.55 (+0.02) 58.95 (-0.00) 57.83 (+0.01) 175.34 (+0.01)
957acb 57.56 (+0.03) 59.11 (+0.04) 57.23 (+0.03) 173.90 (+0.03)
846532 56.15 (-0.00) 56.59 (+0.03) 55.71 (-0.01) 168.45 (+0.01)
d733bc 56.20 (+0.02) 55.18 (-0.01) 56.00 (+0.00) 167.39 (+0.00)
75ffe3 55.33 (-0.02) 55.79 (+0.01) 55.89 (+0.01) 167.01 (-0.00)
75ffe3 56.40 (-0.22) 55.13 (-0.22) 55.59 (-0.19) 167.12 (-0.21)
bf4623 72.01 (+0.03) 70.71 (-0.01) 68.99 (+0.02) 211.71 (+0.01)
b26c83 70.16 (+0.04) 71.66 (+0.01) 67.33 (-0.06) 209.15 (-0.00)
9d714a 67.30 (-0.09) 71.02 (-0.03) 71.28 (+0.01) 209.61 (-0.03)
6efea4 73.56 (+0.05) 72.90 (-0.04) 70.47 (-0.03) 216.93 (-0.01)
4071ff 69.96 (+0.02) 75.89 (+0.10) 72.33 (+0.07) 218.17 (+0.07)
4071ff 68.27 (-0.04) 68.80 (-0.02) 67.50 (-0.01) 204.57 (-0.02)
870ba4 71.15 (+0.05) 70.13 (-0.01) 68.38 (+0.02) 209.66 (+0.02)
f5ca89 68.06 (-0.05) 70.60 (+0.02) 66.73 (-0.04) 205.39 (-0.02)
8bd565 71.81 (+0.01) 69.37 (-0.01) 69.30 (+0.02) 210.48 (+0.01)
dd22c8 70.81 (-0.02) 69.81 (+0.04) 68.09 (-0.02) 208.72 (-0.00)
299db9 72.02 (+0.06) 67.21 (-0.01) 69.69 (-0.01) 208.92 (+0.01)
93f3f4 68.23 (-0.02) 67.90 (-0.04) 70.60 (-0.04) 206.73 (-0.04)
f6e2e0 69.88 (+0.03) 70.98 (+0.02) 73.72 (+0.02) 214.58 (+0.02)
f6e2e0 67.66 (-0.05) 69.52 (-0.04) 72.19 (-0.02) 209.38 (-0.04)
f6e2e0 71.21 (+0.03) 72.50 (+0.07) 73.80 (+0.02) 217.50 (+0.04)
f1d960 69.10 (-0.07) 67.72 (-0.04) 72.10 (-0.04) 208.91 (-0.05)
4a9279 74.14 (+0.05) 70.60 (+0.01) 74.80 (+0.06) 219.54 (+0.04)
2e4bf7 70.61 (+0.01) 69.62 (+0.01) 70.48 (+0.04) 210.70 (+0.02)
ce8fbb 70.11 (+0.03) 68.79 (+0.01) 67.74 (-0.02) 206.64 (+0.01)
ce8fbb 68.10 (+0.01) 67.84 (-0.05) 68.86 (+0.01) 204.80 (-0.01)
ce8fbb 67.50 (-0.05) 71.38 (+0.04) 68.33 (-0.06) 207.21 (-0.02)
d1a0f2 70.92 (+0.03) 68.58 (+0.03) 72.93 (+0.08) 212.44 (+0.05)
ccf92d 68.84 (+0.01) 66.79 (-0.02) 67.27 (-0.04) 202.91 (-0.02)
02b8e0 67.95 (-0.04) 68.28 (-0.01) 70.11 (+0.00) 206.34 (-0.01)
7b9057 70.54 (+0.03) 68.77 (-0.01) 69.82 (-0.00) 209.13 (+0.00)
9cada8 68.42 (-0.04) 69.71 (-0.01) 69.99 (-0.02) 208.11 (-0.02)
9cada8 71.49 (+0.09) 70.10 (+0.06) 71.27 (+0.09) 212.87 (+0.08)
9cada8 65.73 (-0.03) 65.90 (-0.03) 65.38 (-0.07) 197.01 (-0.04)
a60f68 67.53 (-0.00) 67.59 (-0.06) 70.31 (+0.03) 205.44 (-0.01)
d19c52 67.83 (-0.01) 71.71 (+0.06) 68.59 (-0.04) 208.13 (+0.01)
000eb1 68.23 (-0.05) 67.39 (-0.05) 71.13 (+0.02) 206.75 (-0.03)
000eb1 72.04 (+0.04) 70.91 (+0.04) 70.02 (-0.03) 212.97 (+0.02)
f51b48 69.01 (+0.01) 68.00 (+0.02) 72.24 (+0.07) 209.25 (+0.03)
f51b48 68.35 (+0.03) 66.92 (-0.02) 67.78 (-0.04) 203.06 (-0.01)
f51b48 66.25 (-0.03) 68.10 (+0.01) 70.89 (+0.01) 205.23 (-0.00)
9f906f 68.42 (+0.05) 67.19 (+0.02) 70.11 (+0.08) 205.72 (+0.05)
0692ff 65.25 (+0.02) 65.78 (+0.01) 65.13 (-0.04) 196.16 (-0.00)
2caece 63.66 (-0.03) 65.41 (+0.02) 67.58 (+0.06) 196.65 (+0.02)
bc7d3c 65.35 (+0.00) 64.38 (-0.07) 63.62 (-0.05) 193.35 (-0.04)
2153d2 65.18 (+0.04) 69.37 (+0.10) 66.81 (+0.02) 201.35 (+0.05)
2153d2 62.61 (+0.01) 63.11 (-0.05) 65.30 (+0.02) 191.02 (-0.01)
2153d2 61.92 (-0.04) 66.66 (+0.05) 64.01 (-0.01) 192.59 (+0.00)
a1b062 64.23 (+0.03) 63.23 (+0.04) 64.47 (+0.07) 191.93 (+0.05)
1d9d7c 62.07 (-0.03) 61.08 (-0.05) 60.22 (-0.05) 183.37 (-0.04)
3569c1 64.14 (+0.01) 64.48 (+0.05) 63.10 (+0.02) 191.72 (+0.02)
eaff14 63.57 (+0.02) 61.68 (+0.01) 62.02 (-0.01) 187.27 (+0.00)
f383b4 62.63 (-0.01) 61.29 (-0.05) 62.69 (-0.04) 186.61 (-0.03)
f383b4 63.01 (+0.01) 64.62 (+0.02) 65.29 (+0.03) 192.92 (+0.02)
f383b4 62.36 (+0.06) 63.58 (+0.03) 63.18 (+0.02) 189.12 (+0.04)
a4256b 58.81 (-0.06) 61.49 (-0.03) 61.81 (+0.01) 182.10 (-0.03)
371493 62.35 (+0.04) 63.21 (+0.06) 61.29 (+0.02) 186.85 (+0.04)
c5c143 60.14 (-0.02) 59.81 (-0.09) 60.29 (-0.02) 180.24 (-0.05)
58fa4f 61.64 (-0.01) 66.02 (+0.08) 61.26 (+0.01) 188.92 (+0.03)
121d53 62.12 (+0.00) 61.00 (-0.02) 60.60 (-0.01) 183.72 (-0.01)
121d53 62.04 (-0.04) 62.52 (+0.00) 61.38 (-0.01) 185.94 (-0.02)
ec3a3a 64.84 (+0.05) 62.42 (+0.01) 61.99 (+0.00) 189.26 (+0.02)
96e783 61.46 (-0.03) 61.51 (+0.01) 61.97 (+0.04) 184.95 (+0.01)
567b71 63.52 (+0.03) 60.64 (-0.00) 59.48 (+0.00) 183.64 (+0.01)
847fc5 61.95 (+0.00) 60.71 (-0.03) 59.32 (-0.02) 181.98 (-0.01)
5e08b3 61.82 (+0.02) 62.28 (+0.04) 60.31 (-0.06) 184.41 (-0.00)
4d291d 60.45 (+0.01) 59.91 (-0.02) 64.19 (+0.02) 184.56 (+0.01)
4d291d 59.65 (-0.02) 60.99 (+0.02) 62.91 (+0.05) 183.55 (+0.02)
bf63f1 60.85 (+0.01) 59.72 (+0.01) 60.19 (-0.01) 180.77 (+0.00)
0a0958 60.44 (+0.01) 59.41 (+0.01) 60.81 (+0.01) 180.67 (+0.01)
aabca5 59.55 (-0.00) 59.02 (-0.02) 59.99 (-0.03) 178.56 (-0.02)
a4be54 59.78 (-0.02) 59.97 (+0.02) 61.80 (+0.05) 181.54 (+0.02)
a3d7ad 60.87 (+0.02) 58.87 (-0.01) 58.63 (-0.08) 178.36 (-0.02)
a3d7ad 59.47 (-0.01) 59.50 (+0.03) 63.68 (+0.09) 182.65 (+0.03)
8ba169 60.24 (-0.01) 58.01 (-0.02) 58.29 (-0.01) 176.54 (-0.02)
e5cc2f 61.08 (+0.04) 59.29 (-0.01) 59.00 (-0.02) 179.37 (+0.00)
c6b56d 58.78 (-0.00) 60.01 (+0.02) 60.29 (+0.02) 179.08 (+0.01)
e067cd 58.98 (-0.02) 58.61 (+0.01) 59.10 (+0.04) 176.69 (+0.01)
bce423 60.29 (+0.04) 58.09 (+0.00) 57.09 (-0.01) 175.48 (+0.01)
bce423 58.16 (+0.04) 58.00 (-0.05) 57.71 (-0.00) 173.87 (-0.01)
c28bfd 55.98 (-0.04) 60.81 (+0.04) 58.00 (-0.02) 174.79 (-0.01)
95bf19 58.07 (-0.05) 58.43 (-0.02) 59.40 (+0.02) 175.89 (-0.02)
95bf19 61.07 (+0.04) 59.82 (-0.04) 58.10 (-0.04) 178.99 (-0.02)
080752 58.84 (-0.03) 62.08 (+0.21) 60.80 (+0.21) 181.72 (+0.12)
23d5e2 60.97 (+0.02) 51.32 (-0.14) 50.10 (-0.15) 162.40 (-0.09)
23d5e2 59.75 (+0.03) 60.01 (+0.03) 59.20 (+0.02) 178.96 (+0.03)
8b710b 57.84 (+0.13) 58.52 (+0.11) 57.98 (+0.11) 174.34 (+0.12)
8c6e60 51.38 (-0.05) 52.49 (+0.00) 52.11 (-0.01) 155.98 (-0.02)
10dae7 54.20 (+0.05) 52.29 (+0.04) 52.89 (+0.02) 159.38 (+0.03)
4c4d3d 51.79 (-0.03) 50.40 (-0.04) 51.99 (+0.01) 154.18 (-0.02)
9f94d0 53.62 (+0.03) 52.51 (-0.00) 51.62 (-0.04) 157.75 (-0.01)
9f94d0 52.25 (+0.07) 52.72 (+0.07) 53.68 (+0.13) 158.66 (+0.09)
9f94d0 49.06 (+0.01) 49.17 (+0.05) 47.40 (-0.03) 145.63 (+0.01)
c700c7 48.54 (-0.02) 46.69 (-0.03) 48.91 (-0.00) 144.14 (-0.02)
42c6dd 49.40 (+0.02) 48.08 (+0.04) 49.01 (+0.02) 146.49 (+0.03)
f6bf7b 48.26 (-0.01) 46.37 (-0.04) 48.23 (-0.00) 142.87 (-0.02)
1137b5 48.65 (+0.01) 48.21 (-0.01) 48.39 (-0.00) 145.25 (-0.00)
1468c6 48.41 (+0.00) 48.93 (-0.02) 48.49 (+0.01) 145.83 (-0.00)
1468c6 48.36 (+0.03) 49.69 (+0.03) 48.00 (+0.03) 146.05 (+0.03)
c01f92 47.06 (+0.01) 48.40 (+0.00) 46.52 (-0.05) 141.98 (-0.01)
7ff591 46.74 (-0.01) 48.32 (+0.03) 48.79 (+0.01) 143.84 (+0.01)
5d4774 47.37 (-0.17) 46.90 (-0.20) 48.19 (-0.14) 142.45 (-0.17)
56d8c2 56.86 (+0.00) 58.92 (+0.03) 56.21 (+0.01) 171.99 (+0.01)
12e6f4 56.63 (-0.03) 57.41 (-0.01) 55.50 (-0.04) 169.54 (-0.03)
12e6f4 58.57 (+0.04) 58.02 (-0.01) 57.61 (-0.03) 174.20 (+0.00)
61194a 56.07 (-0.13) 58.50 (-0.11) 59.13 (-0.12) 173.70 (-0.12)
70ce01 64.65 (-0.00) 65.72 (+0.03) 67.40 (+0.06) 197.77 (+0.03)
c04c20 64.87 (+0.03) 63.90 (-0.00) 63.70 (-0.03) 192.47 (-0.00)
827ee1 62.75 (+0.01) 64.18 (+0.01) 65.91 (+0.01) 192.84 (+0.01)
22ae67 62.32 (+0.00) 63.48 (+0.03) 65.23 (+0.02) 191.04 (+0.02)
0f4458 62.25 (-0.08) 61.60 (-0.05) 64.00 (+0.01) 187.86 (-0.04)
0f4458 67.74 (+0.07) 65.10 (+0.03) 63.31 (-0.02) 196.15 (+0.03)
0f4458 63.54 (-0.03) 63.08 (-0.04) 64.53 (+0.01) 191.16 (-0.02)
b8a566 65.22 (-0.02) 65.59 (-0.01) 63.91 (-0.04) 194.73 (-0.02)
b8a566 66.54 (+0.03) 66.52 (+0.03) 66.62 (+0.05) 199.67 (+0.04)
9747e9 64.49 (+0.05) 64.47 (+0.05) 63.22 (-0.01) 192.17 (+0.03)
b50e07 61.71 (-0.06) 61.18 (-0.03) 63.79 (-0.00) 186.67 (-0.03)
6a57d5 65.80 (+0.05) 62.99 (-0.02) 63.80 (+0.05) 192.60 (+0.02)
c0480f 62.81 (+0.01) 64.31 (+0.06) 60.80 (-0.01) 187.93 (+0.02)
4f443c 62.20 (+0.00) 60.77 (-0.05) 61.50 (+0.01) 184.48 (-0.01)
4f443c 62.08 (-0.03) 63.80 (+0.03) 61.12 (+0.00) 187.00 (-0.00)
788823 64.12 (-0.27) 62.10 (-0.29) 61.09 (-0.30) 187.31 (-0.29)
c21104 87.61 (+0.33) 87.69 (+0.36) 86.88 (+0.39) 262.18 (+0.36)
b9544a 65.66 (+0.07) 64.42 (+0.01) 62.29 (-0.01) 192.37 (+0.02)
33834c 61.12 (+0.03) 63.78 (+0.06) 62.79 (+0.04) 187.69 (+0.04)
521667 59.36 (-0.00) 60.09 (+0.00) 60.20 (-0.02) 179.65 (-0.01)
361648 59.61 (+0.00) 60.00 (+0.01) 61.60 (-0.00) 181.21 (+0.00)
fc0629 59.59 59.61 61.78 180.99

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query23]

platform: rds-aurora

revision Q23/1 Q23/2 Q23/3 total_duration
41aa62 72.25 (-0.03) 77.58 (+0.06) 75.72 (+0.02) 225.54 (+0.02)
7b5489 74.74 (-0.08) 73.09 (-0.17) 74.34 (-0.11) 222.17 (-0.12)
a23b07 81.16 (+0.06) 88.18 (+0.18) 83.59 (+0.11) 252.93 (+0.12)
cc2d00 76.37 (+0.12) 74.50 (+0.10) 75.19 (+0.03) 226.06 (+0.08)
ba9df2 67.94 (+0.17) 67.68 (+0.12) 73.12 (+0.22) 208.74 (+0.17)
a8f354 58.25 (+0.08) 60.57 (+0.13) 59.81 (+0.11) 178.64 (+0.11)
7feb0d 54.01 (-0.12) 53.60 (-0.16) 53.70 (-0.12) 161.31 (-0.13)
982fce 61.21 (+0.15) 63.93 (+0.18) 61.18 (+0.11) 186.31 (+0.15)
1f151d 53.15 (+0.01) 54.15 (-0.00) 55.12 (+0.04) 162.43 (+0.02)
ff1a1a 52.42 (-0.21) 54.19 (-0.16) 52.98 (-0.17) 159.60 (-0.18)
b1477b 66.67 (+0.02) 64.36 (-0.01) 63.91 (-0.01) 194.95 (-0.00)
1b947f 65.55 (-0.13) 65.29 (-0.08) 64.80 (-0.05) 195.64 (-0.09)
a21b55 74.95 (+0.12) 71.20 (+0.02) 68.51 (-0.01) 214.66 (+0.04)
4ba950 66.99 (+0.12) 70.09 (+0.14) 68.93 (+0.09) 206.02 (+0.12)
4e359d 60.07 (-0.03) 61.48 (+0.01) 63.02 (+0.04) 184.56 (+0.01)
3837fc 61.71 (+0.14) 60.62 (+0.08) 60.78 (+0.08) 183.11 (+0.10)
edcf4d 54.36 (-0.01) 55.97 (-0.01) 56.09 (+0.03) 166.42 (+0.01)
411c71 54.64 (-0.09) 56.32 (-0.06) 54.50 (-0.06) 165.47 (-0.07)
854348 60.10 (+0.01) 60.17 (+0.06) 58.00 (-0.00) 178.27 (+0.02)
7ba5c2 59.41 (+0.07) 56.87 (-0.01) 58.13 (+0.01) 174.41 (+0.02)
ebea29 55.65 (-0.04) 57.39 (+0.03) 57.49 (+0.00) 170.53 (-0.00)
22c890 57.80 (+0.04) 55.90 (+0.02) 57.21 (+0.03) 170.91 (+0.03)
f0b2e0 55.59 (+0.03) 55.01 (+0.03) 55.61 (+0.06) 166.20 (+0.04)
dec580 54.19 (+0.02) 53.30 (+0.01) 52.62 (+0.01) 160.11 (+0.01)
dec580 53.33 (+0.02) 52.97 (+0.01) 52.01 (-0.04) 158.31 (-0.00)
b1c2a6 52.33 (-0.00) 52.69 (+0.01) 53.99 (+0.02) 159.02 (+0.01)
931094 52.41 (+0.00) 52.27 (-0.01) 52.81 (-0.01) 157.50 (-0.01)
957acb 52.24 (+0.02) 52.69 (+0.03) 53.37 (+0.03) 158.30 (+0.03)
846532 50.98 (+0.01) 51.28 (+0.06) 51.61 (-0.01) 153.87 (+0.02)
d733bc 50.37 (-0.04) 48.56 (-0.07) 52.20 (-0.02) 151.13 (-0.04)
75ffe3 52.42 (+0.01) 52.11 (+0.03) 53.09 (+0.05) 157.62 (+0.03)
75ffe3 51.95 (-0.18) 50.79 (-0.23) 50.50 (-0.24) 153.25 (-0.22)
bf4623 63.09 (-0.06) 65.91 (+0.01) 66.71 (+0.07) 195.71 (+0.01)
b26c83 66.84 (+0.06) 65.28 (+0.04) 62.41 (+0.03) 194.54 (+0.04)
9d714a 63.25 (-0.04) 62.80 (-0.06) 60.81 (-0.10) 186.85 (-0.06)
6efea4 65.62 (+0.01) 66.51 (-0.01) 67.39 (+0.03) 199.53 (+0.01)
4071ff 65.12 (+0.04) 67.02 (+0.04) 65.68 (+0.00) 197.82 (+0.03)
4071ff 62.84 (-0.00) 64.27 (+0.03) 65.63 (+0.03) 192.74 (+0.02)
870ba4 62.92 (+0.03) 62.52 (+0.02) 63.80 (+0.02) 189.24 (+0.02)
f5ca89 61.29 (-0.02) 61.42 (+0.01) 62.39 (-0.00) 185.10 (-0.00)
8bd565 62.34 (+0.01) 60.90 (-0.05) 62.69 (-0.02) 185.94 (-0.02)
dd22c8 61.48 (-0.05) 63.81 (+0.01) 63.80 (+0.02) 189.09 (-0.01)
299db9 64.52 (+0.01) 63.16 (+0.02) 62.43 (+0.01) 190.11 (+0.01)
93f3f4 64.10 (-0.01) 62.18 (-0.03) 62.02 (-0.02) 188.30 (-0.02)
f6e2e0 64.55 (+0.01) 64.40 (+0.02) 63.09 (+0.01) 192.04 (+0.02)
f6e2e0 63.61 (-0.05) 63.02 (-0.06) 62.19 (-0.04) 188.82 (-0.05)
f6e2e0 66.97 (+0.03) 66.79 (+0.04) 64.59 (+0.00) 198.35 (+0.03)
f1d960 64.80 (-0.06) 64.11 (-0.02) 64.27 (-0.02) 193.18 (-0.03)
4a9279 69.01 (+0.04) 65.67 (+0.00) 65.40 (+0.04) 200.09 (+0.03)
2e4bf7 66.05 (+0.03) 65.50 (+0.05) 62.98 (+0.00) 194.53 (+0.03)
ce8fbb 64.24 (+0.03) 62.17 (+0.02) 62.93 (+0.03) 189.34 (+0.03)
ce8fbb 62.14 (-0.03) 60.81 (-0.03) 61.29 (-0.05) 184.24 (-0.04)
ce8fbb 64.21 (-0.03) 62.71 (-0.06) 64.31 (-0.02) 191.22 (-0.03)
d1a0f2 65.98 (+0.02) 66.56 (+0.07) 65.59 (+0.05) 198.13 (+0.05)
ccf92d 64.64 (+0.02) 62.18 (-0.01) 62.31 (-0.02) 189.13 (-0.00)
02b8e0 63.10 (-0.06) 62.81 (-0.07) 63.71 (-0.01) 189.61 (-0.05)
7b9057 67.05 (+0.07) 67.58 (+0.09) 64.28 (+0.01) 198.92 (+0.06)
9cada8 62.45 (-0.05) 61.99 (-0.05) 63.52 (-0.03) 187.95 (-0.05)
9cada8 65.94 (+0.09) 65.50 (-0.03) 65.40 (+0.03) 196.85 (+0.03)
9cada8 60.51 (-0.08) 67.67 (+0.05) 63.42 (+0.01) 191.60 (-0.00)
a60f68 65.47 (+0.05) 64.42 (+0.06) 62.59 (+0.01) 192.48 (+0.04)
d19c52 62.19 (-0.01) 60.61 (-0.02) 61.70 (-0.01) 184.50 (-0.02)
000eb1 62.81 (-0.04) 61.91 (-0.07) 62.60 (-0.03) 187.32 (-0.05)
000eb1 65.34 (+0.03) 66.49 (+0.03) 64.71 (-0.04) 196.54 (+0.00)
f51b48 63.70 (+0.04) 64.80 (+0.02) 67.39 (+0.07) 195.89 (+0.04)
f51b48 61.39 (-0.01) 63.72 (+0.05) 62.77 (-0.00) 187.88 (+0.01)
f51b48 62.09 (-0.02) 60.62 (-0.02) 62.81 (+0.02) 185.52 (-0.01)
9f906f 63.53 (+0.05) 61.68 (+0.07) 61.33 (+0.07) 186.54 (+0.06)
0692ff 60.33 (+0.07) 57.66 (+0.02) 57.54 (-0.02) 175.53 (+0.02)
2caece 56.43 (-0.02) 56.80 (-0.02) 58.91 (+0.03) 172.14 (-0.00)
bc7d3c 57.72 (-0.03) 57.79 (-0.02) 57.42 (-0.08) 172.93 (-0.04)
2153d2 59.22 (+0.02) 59.00 (+0.02) 62.59 (+0.03) 180.81 (+0.03)
2153d2 58.05 (-0.03) 57.60 (-0.01) 60.61 (+0.03) 176.27 (-0.00)
2153d2 59.63 (+0.03) 57.99 (-0.03) 58.81 (+0.02) 176.43 (+0.00)
a1b062 58.15 (+0.01) 59.68 (+0.02) 57.94 (-0.01) 175.77 (+0.01)
1d9d7c 57.58 (-0.01) 58.42 (+0.02) 58.81 (-0.00) 174.81 (+0.00)
3569c1 58.12 (+0.00) 57.09 (+0.00) 58.81 (+0.03) 174.03 (+0.01)
eaff14 57.93 (-0.01) 56.98 (+0.02) 57.08 (-0.01) 171.99 (-0.00)
f383b4 58.70 (-0.02) 56.03 (-0.02) 57.90 (+0.00) 172.63 (-0.01)
f383b4 59.64 (+0.05) 57.10 (-0.01) 57.89 (+0.02) 174.62 (+0.02)
f383b4 56.83 (+0.00) 57.83 (+0.05) 56.97 (+0.06) 171.64 (+0.04)
a4256b 56.64 (+0.01) 55.09 (-0.05) 53.79 (-0.08) 165.53 (-0.04)
371493 56.01 (-0.02) 57.80 (+0.08) 58.58 (+0.10) 172.39 (+0.05)
c5c143 57.33 (+0.06) 53.29 (-0.09) 53.44 (-0.08) 164.06 (-0.04)
58fa4f 54.21 (-0.03) 58.40 (+0.01) 57.91 (-0.01) 170.51 (-0.01)
121d53 56.03 (+0.01) 57.68 (+0.01) 58.32 (+0.01) 172.02 (+0.01)
121d53 55.33 (-0.05) 57.27 (+0.00) 57.60 (+0.02) 170.21 (-0.01)
ec3a3a 58.41 (+0.08) 57.01 (+0.04) 56.71 (+0.03) 172.13 (+0.05)
96e783 54.11 (+0.00) 54.89 (-0.03) 54.92 (-0.01) 163.93 (-0.01)
567b71 53.88 (-0.03) 56.32 (-0.00) 55.69 (-0.01) 165.89 (-0.02)
847fc5 55.40 (+0.01) 56.54 (+0.04) 56.50 (+0.01) 168.43 (+0.02)
5e08b3 54.95 (-0.00) 54.29 (-0.05) 55.89 (+0.00) 165.13 (-0.02)
4d291d 54.99 (+0.01) 57.29 (+0.03) 55.83 (+0.02) 168.11 (+0.02)
4d291d 54.59 (+0.00) 55.69 (-0.01) 54.60 (-0.01) 164.88 (-0.01)
bf63f1 54.52 (-0.05) 56.52 (+0.04) 55.00 (+0.03) 166.05 (+0.01)
0a0958 57.13 (+0.02) 54.39 (-0.05) 53.19 (-0.02) 164.71 (-0.02)
aabca5 56.10 (-0.01) 57.38 (+0.03) 54.53 (-0.01) 168.02 (+0.00)
a4be54 56.85 (+0.04) 55.90 (+0.04) 54.82 (-0.01) 167.57 (+0.02)
a3d7ad 54.49 (-0.02) 53.93 (-0.02) 55.49 (+0.01) 163.91 (-0.01)
a3d7ad 55.61 (+0.04) 55.22 (+0.00) 54.88 (-0.01) 165.71 (+0.01)
8ba169 53.31 (-0.02) 55.18 (+0.01) 55.41 (-0.02) 163.90 (-0.01)
e5cc2f 54.38 (-0.02) 54.77 (+0.03) 56.42 (+0.10) 165.57 (+0.04)
c6b56d 55.32 (-0.03) 53.10 (-0.05) 51.51 (-0.02) 159.93 (-0.03)
e067cd 56.83 (+0.10) 56.10 (-0.03) 52.60 (-0.04) 165.53 (+0.00)
bce423 51.75 (-0.04) 57.97 (+0.03) 55.01 (+0.03) 164.73 (+0.01)
bce423 54.00 (+0.02) 56.41 (+0.09) 53.31 (+0.01) 163.72 (+0.04)
c28bfd 52.79 (-0.05) 51.92 (-0.06) 52.98 (-0.01) 157.68 (-0.04)
95bf19 55.39 (+0.02) 55.30 (-0.06) 53.30 (-0.09) 163.99 (-0.04)
95bf19 54.09 (+0.00) 58.92 (+0.13) 58.60 (+0.09) 171.62 (+0.07)
080752 54.05 (+0.16) 52.11 (+0.17) 53.89 (-0.12) 160.05 (+0.05)
23d5e2 46.79 (-0.10) 44.71 (-0.16) 61.22 (+0.14) 152.72 (-0.04)
23d5e2 52.13 (+0.00) 53.19 (+0.02) 53.60 (-0.08) 158.93 (-0.02)
8b710b 51.96 (+0.12) 52.08 (+0.06) 58.53 (+0.28) 162.57 (+0.15)
8c6e60 46.49 (+0.02) 49.01 (+0.01) 45.68 (-0.04) 141.18 (-0.00)
10dae7 45.66 (-0.06) 48.47 (+0.06) 47.71 (+0.01) 141.84 (+0.00)
4c4d3d 48.53 (+0.02) 45.81 (-0.10) 47.11 (-0.02) 141.45 (-0.03)
9f94d0 47.57 (+0.03) 50.92 (+0.05) 47.91 (+0.05) 146.40 (+0.04)
9f94d0 46.33 (+0.05) 48.49 (+0.07) 45.52 (-0.01) 140.35 (+0.04)
9f94d0 44.15 (+0.06) 45.19 (+0.04) 46.14 (+0.06) 135.48 (+0.05)
c700c7 41.65 (-0.04) 43.29 (-0.06) 43.49 (-0.03) 128.43 (-0.04)
42c6dd 43.31 (+0.04) 46.11 (+0.04) 44.80 (+0.03) 134.22 (+0.03)
f6bf7b 41.64 (-0.02) 44.48 (+0.01) 43.70 (+0.05) 129.83 (+0.01)
1137b5 42.35 (-0.00) 44.11 (+0.01) 41.69 (-0.01) 128.15 (+0.00)
1468c6 42.44 (+0.01) 43.50 (+0.04) 41.90 (-0.02) 127.84 (+0.01)
1468c6 42.12 (-0.03) 41.71 (-0.04) 42.91 (-0.05) 126.75 (-0.04)
c01f92 43.41 (-0.02) 43.30 (+0.03) 45.01 (+0.03) 131.72 (+0.01)
7ff591 44.14 (+0.04) 42.03 (-0.00) 43.87 (+0.07) 130.04 (+0.04)
5d4774 42.45 (-0.18) 42.08 (-0.20) 41.03 (-0.21) 125.56 (-0.20)
56d8c2 51.51 (+0.01) 52.92 (-0.07) 51.88 (-0.02) 156.31 (-0.03)
12e6f4 51.13 (-0.05) 57.08 (+0.10) 53.10 (-0.03) 161.31 (+0.00)
12e6f4 54.02 (+0.07) 52.00 (+0.01) 54.71 (+0.07) 160.74 (+0.05)
61194a 50.31 (-0.15) 51.69 (-0.13) 51.10 (-0.13) 153.10 (-0.14)
70ce01 59.51 (+0.01) 59.61 (+0.03) 58.83 (-0.00) 177.94 (+0.01)
c04c20 58.71 (+0.03) 58.09 (+0.04) 59.01 (+0.02) 175.81 (+0.03)
827ee1 56.99 (-0.05) 56.09 (-0.05) 57.80 (+0.01) 170.89 (-0.03)
22ae67 59.72 (+0.03) 58.99 (+0.03) 57.09 (-0.00) 175.81 (+0.02)
0f4458 57.96 (-0.02) 57.28 (-0.02) 57.11 (-0.04) 172.35 (-0.03)
0f4458 59.02 (+0.01) 58.40 (+0.01) 59.60 (+0.02) 177.02 (+0.01)
0f4458 58.61 (+0.02) 57.62 (-0.01) 58.38 (-0.01) 174.61 (-0.00)
b8a566 57.45 (-0.04) 57.98 (-0.02) 59.19 (-0.08) 174.62 (-0.05)
b8a566 59.82 (-0.00) 59.41 (+0.02) 64.41 (+0.11) 183.63 (+0.04)
9747e9 59.93 (+0.07) 58.02 (+0.01) 58.11 (+0.03) 176.06 (+0.04)
b50e07 56.20 (-0.05) 57.23 (+0.01) 56.42 (-0.03) 169.85 (-0.02)
6a57d5 59.32 (+0.13) 56.60 (-0.01) 58.12 (+0.01) 174.04 (+0.04)
c0480f 52.60 (-0.07) 57.02 (+0.00) 57.43 (-0.02) 167.06 (-0.03)
4f443c 56.66 (+0.02) 56.94 (+0.00) 58.44 (+0.01) 172.03 (+0.01)
4f443c 55.70 (+0.01) 56.91 (-0.00) 57.89 (-0.00) 170.50 (+0.00)
788823 55.32 (-0.31) 56.91 (-0.23) 57.97 (-0.31) 170.21 (-0.29)
c21104 80.39 (+0.35) 74.01 (+0.27) 83.99 (+0.40) 238.39 (+0.34)
b9544a 59.55 (+0.03) 58.25 (+0.05) 60.15 (+0.04) 177.95 (+0.04)
33834c 57.93 (+0.02) 55.73 (+0.03) 57.89 (+0.06) 171.55 (+0.04)
521667 56.53 (+0.04) 53.91 (-0.00) 54.78 (+0.05) 165.22 (+0.03)
361648 54.54 (-0.01) 54.09 (-0.02) 52.09 (-0.04) 160.72 (-0.02)
fc0629 55.12 55.09 54.21 164.42

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query24]

platform: rds-aurora

revision Q24/1 Q24/2 Q24/3 total_duration
41aa62 74.34 (+0.04) 81.17 (+0.11) 76.52 (-0.01) 232.03 (+0.05)
7b5489 71.58 (-0.13) 73.11 (-0.17) 77.29 (-0.11) 221.98 (-0.14)
a23b07 82.60 (+0.11) 87.59 (+0.12) 86.59 (+0.15) 256.78 (+0.13)
cc2d00 74.08 (+0.07) 77.89 (+0.13) 75.30 (+0.10) 227.27 (+0.10)
ba9df2 69.23 (+0.11) 69.20 (+0.18) 68.73 (+0.12) 207.15 (+0.14)
a8f354 62.27 (+0.11) 58.70 (+0.04) 61.30 (+0.10) 182.27 (+0.08)
7feb0d 56.06 (-0.12) 56.49 (-0.08) 55.92 (-0.10) 168.47 (-0.10)
982fce 63.87 (+0.14) 61.30 (+0.19) 62.41 (+0.16) 187.59 (+0.16)
1f151d 56.15 (+0.02) 51.71 (-0.05) 53.81 (-0.03) 161.67 (-0.02)
ff1a1a 55.29 (-0.16) 54.49 (-0.20) 55.62 (-0.16) 165.40 (-0.17)
b1477b 66.18 (+0.03) 67.91 (+0.02) 65.89 (-0.01) 199.99 (+0.02)
1b947f 64.07 (-0.06) 66.48 (-0.13) 66.31 (-0.07) 196.87 (-0.09)
a21b55 67.88 (-0.03) 76.80 (+0.08) 71.20 (+0.02) 215.88 (+0.02)
4ba950 70.23 (+0.11) 71.30 (+0.10) 69.89 (+0.10) 211.43 (+0.10)
4e359d 63.35 (+0.07) 64.61 (+0.05) 63.78 (+0.00) 191.74 (+0.04)
3837fc 59.39 (+0.08) 61.49 (+0.16) 63.52 (+0.15) 184.40 (+0.13)
edcf4d 55.16 (+0.05) 53.21 (-0.00) 55.41 (+0.04) 163.78 (+0.03)
411c71 52.42 (-0.16) 53.38 (-0.12) 53.28 (-0.11) 159.08 (-0.13)
854348 62.50 (+0.10) 60.70 (+0.02) 60.17 (+0.04) 183.37 (+0.05)
7ba5c2 56.69 (-0.02) 59.52 (+0.01) 57.90 (-0.01) 174.11 (-0.01)
ebea29 58.00 (+0.01) 58.79 (+0.02) 58.30 (+0.02) 175.09 (+0.01)
22c890 57.66 (-0.03) 57.51 (-0.02) 57.41 (-0.02) 172.58 (-0.02)
f0b2e0 59.45 (+0.16) 58.83 (+0.06) 58.49 (+0.06) 176.78 (+0.09)
dec580 51.08 (+0.01) 55.60 (+0.03) 55.16 (+0.01) 161.84 (+0.02)
dec580 50.69 (+0.00) 54.19 (+0.00) 54.41 (-0.02) 159.29 (-0.00)
b1c2a6 50.54 (-0.01) 54.13 (+0.02) 55.27 (+0.08) 159.95 (+0.03)
931094 51.30 (-0.05) 53.19 (+0.00) 51.20 (-0.05) 155.69 (-0.03)
957acb 53.87 (+0.09) 53.11 (+0.01) 53.99 (+0.05) 160.98 (+0.05)
846532 49.46 (-0.05) 52.52 (+0.05) 51.40 (+0.01) 153.39 (+0.00)
d733bc 52.16 (+0.01) 50.00 (-0.05) 51.12 (-0.03) 153.28 (-0.02)
75ffe3 51.63 (+0.01) 52.51 (-0.04) 52.69 (-0.01) 156.83 (-0.01)
75ffe3 51.12 (-0.20) 54.51 (-0.13) 53.30 (-0.14) 158.93 (-0.16)
bf4623 64.23 (+0.00) 62.80 (-0.05) 62.12 (-0.09) 189.15 (-0.05)
b26c83 63.91 (-0.02) 66.00 (+0.02) 68.39 (+0.09) 198.31 (+0.03)
9d714a 65.00 (-0.01) 64.51 (-0.00) 62.71 (-0.04) 192.23 (-0.02)
6efea4 65.65 (-0.03) 64.53 (-0.00) 65.39 (+0.03) 195.57 (-0.00)
4071ff 67.53 (+0.05) 64.68 (+0.01) 63.50 (+0.02) 195.71 (+0.03)
4071ff 64.44 (-0.01) 64.11 (+0.02) 62.30 (-0.00) 190.86 (+0.00)
870ba4 65.12 (-0.02) 63.12 (+0.00) 62.58 (+0.00) 190.82 (-0.00)
f5ca89 66.46 (+0.06) 62.91 (-0.01) 62.36 (-0.02) 191.73 (+0.01)
8bd565 62.98 (+0.02) 63.69 (+0.01) 63.39 (+0.02) 190.06 (+0.02)
dd22c8 61.68 (+0.00) 63.31 (+0.02) 61.86 (-0.04) 186.85 (-0.01)
299db9 61.60 (-0.00) 61.81 (-0.03) 64.72 (-0.04) 188.14 (-0.02)
93f3f4 61.83 (-0.06) 63.40 (-0.05) 67.11 (+0.06) 192.35 (-0.02)
f6e2e0 66.08 (+0.04) 66.52 (+0.03) 63.28 (-0.08) 195.88 (-0.00)
f6e2e0 63.43 (-0.01) 64.29 (-0.04) 68.59 (+0.06) 196.30 (+0.00)
f6e2e0 64.26 (-0.04) 66.99 (-0.01) 64.79 (-0.06) 196.05 (-0.04)
f1d960 67.09 (-0.02) 67.69 (+0.02) 69.00 (+0.08) 203.79 (+0.02)
4a9279 68.56 (+0.06) 66.48 (-0.00) 63.82 (-0.03) 198.87 (+0.01)
2e4bf7 64.85 (-0.00) 66.51 (-0.00) 65.90 (-0.05) 197.27 (-0.02)
ce8fbb 65.11 (+0.03) 66.52 (-0.03) 69.37 (+0.12) 201.01 (+0.04)
ce8fbb 63.10 (+0.01) 68.57 (+0.08) 62.21 (-0.07) 193.88 (+0.00)
ce8fbb 62.29 (-0.05) 63.78 (+0.00) 67.22 (+0.02) 193.29 (-0.01)
d1a0f2 65.56 (+0.02) 63.52 (-0.02) 66.00 (+0.02) 195.08 (+0.01)
ccf92d 64.47 (+0.03) 64.70 (+0.01) 64.81 (-0.00) 193.98 (+0.01)
02b8e0 62.80 (-0.05) 64.38 (-0.03) 65.13 (-0.04) 192.31 (-0.04)
7b9057 65.88 (+0.06) 66.49 (+0.05) 67.60 (+0.07) 199.96 (+0.06)
9cada8 62.36 (-0.05) 63.42 (-0.08) 62.97 (-0.04) 188.76 (-0.06)
9cada8 65.66 (+0.04) 68.58 (+0.09) 65.54 (+0.01) 199.78 (+0.04)
9cada8 62.99 (-0.01) 63.19 (-0.03) 65.21 (+0.01) 191.39 (-0.01)
a60f68 63.72 (-0.02) 65.39 (+0.02) 64.72 (-0.02) 193.83 (-0.01)
d19c52 65.07 (+0.04) 64.07 (-0.03) 65.80 (-0.02) 194.95 (-0.01)
000eb1 62.70 (-0.02) 66.29 (+0.06) 67.19 (+0.04) 196.18 (+0.03)
000eb1 64.06 (-0.03) 62.39 (-0.08) 64.91 (+0.01) 191.35 (-0.03)
f51b48 66.00 (+0.06) 67.70 (+0.07) 63.99 (-0.01) 197.69 (+0.04)
f51b48 62.49 (-0.05) 63.21 (-0.01) 64.86 (-0.00) 190.57 (-0.02)
f51b48 65.47 (+0.03) 63.78 (+0.01) 65.11 (+0.02) 194.36 (+0.02)
9f906f 63.54 (+0.09) 63.21 (+0.06) 64.08 (+0.06) 190.84 (+0.07)
0692ff 58.03 (-0.04) 59.57 (-0.08) 60.41 (+0.02) 178.01 (-0.03)
2caece 60.35 (+0.01) 64.60 (+0.07) 59.23 (+0.01) 184.18 (+0.03)
bc7d3c 59.74 (-0.05) 60.12 (-0.01) 58.72 (-0.03) 178.58 (-0.03)
2153d2 62.63 (+0.01) 61.01 (-0.01) 60.28 (-0.00) 183.93 (-0.00)
2153d2 61.86 (+0.01) 61.91 (+0.07) 60.29 (+0.04) 184.06 (+0.04)
2153d2 61.18 (+0.04) 57.88 (+0.01) 57.92 (-0.02) 176.99 (+0.01)
a1b062 58.72 (-0.01) 57.19 (-0.03) 58.82 (-0.00) 174.73 (-0.01)
1d9d7c 59.16 (-0.01) 58.82 (-0.00) 59.00 (+0.03) 176.97 (+0.01)
3569c1 59.52 (+0.03) 58.93 (+0.01) 57.28 (-0.02) 175.73 (+0.01)
eaff14 57.69 (+0.00) 58.17 (+0.02) 58.51 (+0.04) 174.37 (+0.02)
f383b4 57.53 (-0.01) 57.00 (-0.05) 56.32 (-0.08) 170.86 (-0.05)
f383b4 57.99 (+0.00) 60.19 (+0.04) 61.19 (+0.05) 179.37 (+0.03)
f383b4 57.91 (-0.01) 57.96 (-0.00) 58.51 (+0.02) 174.38 (+0.00)
a4256b 58.48 (+0.00) 58.11 (+0.01) 57.17 (+0.01) 173.76 (+0.01)
371493 58.38 (+0.05) 57.81 (+0.02) 56.60 (+0.00) 172.79 (+0.02)
c5c143 55.45 (-0.04) 56.83 (-0.02) 56.57 (-0.01) 168.85 (-0.02)
58fa4f 57.84 (-0.00) 57.93 (+0.02) 56.86 (+0.02) 172.64 (+0.01)
121d53 58.07 (-0.00) 57.01 (-0.01) 55.89 (-0.02) 170.97 (-0.01)
121d53 58.20 (+0.04) 57.87 (+0.04) 57.20 (+0.03) 173.28 (+0.04)
ec3a3a 55.95 (-0.03) 55.80 (-0.04) 55.31 (-0.06) 167.07 (-0.04)
96e783 57.97 (+0.05) 57.98 (+0.05) 58.60 (+0.04) 174.54 (+0.05)
567b71 55.29 (+0.02) 55.30 (+0.00) 56.12 (+0.01) 166.71 (+0.01)
847fc5 54.31 (-0.07) 55.10 (-0.02) 55.81 (-0.02) 165.23 (-0.04)
5e08b3 58.17 (+0.03) 56.30 (-0.03) 56.91 (-0.02) 171.38 (-0.01)
4d291d 56.68 (+0.03) 58.09 (+0.04) 58.32 (+0.04) 173.08 (+0.04)
4d291d 55.18 (+0.03) 55.73 (+0.05) 55.90 (+0.02) 166.81 (+0.03)
bf63f1 53.62 (-0.02) 52.90 (-0.08) 54.82 (-0.05) 161.34 (-0.05)
0a0958 54.62 (+0.01) 57.48 (+0.08) 57.62 (+0.08) 169.72 (+0.05)
aabca5 54.13 (-0.03) 53.41 (-0.07) 53.59 (-0.08) 161.14 (-0.06)
a4be54 55.69 (-0.02) 57.30 (+0.03) 58.00 (+0.08) 171.00 (+0.03)
a3d7ad 57.00 (+0.04) 55.66 (-0.01) 53.81 (-0.04) 166.47 (-0.00)
a3d7ad 54.88 (-0.01) 56.30 (+0.05) 56.11 (+0.08) 167.29 (+0.04)
8ba169 55.60 (+0.01) 53.39 (+0.01) 51.78 (-0.06) 160.77 (-0.01)
e5cc2f 54.91 (-0.03) 52.75 (-0.05) 54.89 (-0.03) 162.55 (-0.04)
c6b56d 56.36 (+0.09) 55.80 (+0.03) 56.72 (+0.04) 168.88 (+0.05)
e067cd 51.72 (-0.06) 54.02 (-0.01) 54.80 (+0.02) 160.55 (-0.02)
bce423 54.89 (+0.02) 54.59 (+0.04) 53.81 (+0.03) 163.30 (+0.03)
bce423 54.00 (+0.05) 52.49 (-0.05) 52.29 (-0.04) 158.78 (-0.02)
c28bfd 51.58 (-0.01) 55.23 (+0.03) 54.69 (-0.01) 161.50 (+0.01)
95bf19 52.17 (+0.08) 53.41 (+0.09) 54.99 (+0.17) 160.57 (+0.11)
95bf19 48.32 (-0.13) 49.10 (-0.12) 47.19 (-0.17) 144.61 (-0.14)
080752 55.48 (+0.12) 55.70 (+0.20) 56.73 (+0.24) 167.91 (+0.18)
23d5e2 49.43 (-0.12) 46.50 (-0.16) 45.80 (-0.13) 141.73 (-0.13)
23d5e2 55.94 (+0.10) 55.18 (+0.15) 52.61 (+0.13) 163.73 (+0.13)
8b710b 50.95 (+0.09) 47.81 (-0.00) 46.68 (+0.00) 145.45 (+0.03)
8c6e60 46.89 (-0.08) 47.92 (-0.04) 46.47 (-0.00) 141.28 (-0.04)
10dae7 51.01 (+0.06) 49.89 (+0.08) 46.48 (-0.11) 147.38 (+0.00)
4c4d3d 48.31 (-0.04) 46.40 (-0.06) 52.07 (+0.12) 146.78 (+0.01)
9f94d0 50.27 (+0.05) 49.19 (+0.03) 46.49 (-0.08) 145.96 (-0.00)
9f94d0 47.87 (+0.10) 47.70 (+0.03) 50.50 (+0.17) 146.07 (+0.10)
9f94d0 43.47 (-0.05) 46.17 (+0.06) 43.01 (-0.04) 132.66 (-0.01)
c700c7 45.68 (-0.02) 43.39 (-0.02) 44.82 (-0.01) 133.89 (-0.02)
42c6dd 46.76 (+0.03) 44.41 (+0.02) 45.49 (+0.04) 136.66 (+0.03)
f6bf7b 45.20 (+0.01) 43.47 (-0.01) 43.90 (-0.03) 132.58 (-0.01)
1137b5 44.70 (+0.01) 43.90 (+0.01) 45.09 (+0.03) 133.70 (+0.01)
1468c6 44.47 (+0.04) 43.60 (-0.04) 43.70 (-0.00) 131.78 (-0.00)
1468c6 42.75 (-0.01) 45.32 (+0.02) 43.80 (+0.03) 131.87 (+0.01)
c01f92 43.16 (+0.01) 44.52 (+0.00) 42.69 (-0.01) 130.37 (+0.00)
7ff591 42.78 (-0.02) 44.30 (+0.04) 42.93 (-0.03) 130.02 (-0.01)
5d4774 43.76 (-0.15) 42.63 (-0.25) 44.49 (-0.18) 130.87 (-0.20)
56d8c2 51.69 (-0.07) 57.20 (+0.07) 54.20 (+0.05) 163.09 (+0.02)
12e6f4 55.47 (+0.02) 53.61 (-0.02) 51.51 (-0.07) 160.59 (-0.03)
12e6f4 54.43 (+0.04) 54.91 (+0.03) 55.49 (+0.04) 164.83 (+0.04)
61194a 52.19 (-0.22) 53.11 (-0.16) 53.17 (-0.14) 158.47 (-0.18)
70ce01 67.26 (+0.14) 63.21 (+0.07) 62.02 (+0.07) 192.49 (+0.09)
c04c20 59.19 (+0.02) 58.88 (-0.01) 58.12 (-0.00) 176.19 (+0.00)
827ee1 57.88 (+0.00) 59.70 (-0.02) 58.21 (-0.05) 175.79 (-0.02)
22ae67 57.83 (+0.01) 60.81 (+0.04) 61.50 (+0.07) 180.14 (+0.04)
0f4458 57.38 (-0.06) 58.39 (-0.02) 57.51 (-0.04) 173.29 (-0.04)
0f4458 60.79 (+0.01) 59.30 (-0.04) 59.68 (+0.02) 179.77 (-0.00)
0f4458 60.21 (-0.02) 61.49 (+0.03) 58.78 (+0.01) 180.48 (+0.01)
b8a566 61.33 (-0.01) 59.59 (-0.03) 58.00 (-0.03) 178.92 (-0.03)
b8a566 62.17 (+0.04) 61.57 (+0.03) 59.81 (-0.02) 183.56 (+0.02)
9747e9 59.66 (+0.03) 59.63 (+0.05) 61.07 (+0.04) 180.35 (+0.04)
b50e07 57.84 (+0.01) 56.80 (+0.00) 58.58 (+0.01) 173.22 (+0.01)
6a57d5 57.11 (+0.00) 56.57 (-0.00) 58.02 (+0.03) 171.70 (+0.01)
c0480f 56.91 (-0.00) 56.78 (+0.00) 56.22 (-0.03) 169.92 (-0.01)
4f443c 56.96 (-0.03) 56.51 (+0.01) 57.99 (+0.03) 171.47 (+0.00)
4f443c 58.97 (+0.03) 55.71 (-0.02) 56.51 (-0.02) 171.19 (-0.00)
788823 57.29 (-0.29) 56.61 (-0.32) 57.70 (-0.31) 171.60 (-0.31)
c21104 81.13 (+0.37) 82.99 (+0.39) 84.21 (+0.40) 248.33 (+0.39)
b9544a 59.38 (+0.01) 59.72 (+0.01) 60.12 (-0.00) 179.21 (+0.01)
33834c 58.69 (+0.05) 59.19 (+0.04) 60.19 (+0.00) 178.08 (+0.03)
521667 56.06 (+0.01) 56.90 (+0.01) 60.03 (+0.05) 172.99 (+0.02)
361648 55.59 (-0.02) 56.41 (+0.01) 56.92 (+0.07) 168.92 (+0.02)
fc0629 56.69 55.89 53.10 165.68

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query25]

platform: rds-aurora

revision Q25/1 Q25/2 Q25/3 total_duration
41aa62 80.56 (+0.09) 76.99 (-0.00) 74.80 (-0.00) 232.35 (+0.03)
7b5489 74.13 (-0.13) 77.03 (-0.07) 75.00 (-0.15) 226.16 (-0.12)
a23b07 85.26 (+0.13) 82.90 (+0.05) 88.50 (+0.16) 256.67 (+0.11)
cc2d00 75.21 (+0.03) 79.02 (+0.12) 76.59 (+0.09) 230.81 (+0.08)
ba9df2 72.83 (+0.21) 70.83 (+0.18) 70.29 (+0.15) 213.95 (+0.18)
a8f354 60.06 (+0.07) 60.10 (+0.05) 61.31 (+0.11) 181.46 (+0.08)
7feb0d 55.94 (-0.12) 57.21 (-0.10) 55.12 (-0.13) 168.27 (-0.12)
982fce 63.64 (+0.15) 63.91 (+0.12) 63.50 (+0.08) 191.04 (+0.11)
1f151d 55.55 (+0.04) 57.27 (+0.05) 58.63 (+0.07) 171.44 (+0.05)
ff1a1a 53.62 (-0.20) 54.78 (-0.15) 54.60 (-0.15) 163.00 (-0.17)
b1477b 66.73 (+0.01) 64.62 (-0.03) 64.31 (-0.01) 195.67 (-0.01)
1b947f 66.34 (-0.08) 66.43 (-0.07) 64.67 (-0.11) 197.44 (-0.09)
a21b55 72.12 (-0.03) 71.58 (+0.02) 72.52 (+0.03) 216.23 (+0.01)
4ba950 74.37 (+0.11) 70.00 (+0.04) 70.61 (+0.05) 214.99 (+0.07)
4e359d 67.19 (+0.13) 67.37 (+0.13) 67.12 (+0.14) 201.68 (+0.13)
3837fc 59.52 (+0.09) 59.81 (+0.06) 58.90 (+0.06) 178.23 (+0.07)
edcf4d 54.67 (-0.04) 56.50 (+0.05) 55.47 (-0.00) 166.64 (+0.00)
411c71 56.86 (-0.09) 53.62 (-0.10) 55.47 (-0.09) 165.96 (-0.10)
854348 62.49 (+0.09) 59.64 (+0.02) 61.27 (+0.07) 183.40 (+0.06)
7ba5c2 57.41 (-0.02) 58.28 (-0.05) 57.52 (-0.07) 173.21 (-0.05)
ebea29 58.41 (+0.01) 61.39 (+0.10) 61.60 (+0.10) 181.40 (+0.07)
22c890 57.82 (-0.02) 55.73 (-0.05) 56.01 (-0.05) 169.56 (-0.04)
f0b2e0 58.98 (+0.05) 58.41 (+0.08) 58.99 (+0.12) 176.38 (+0.08)
dec580 56.29 (+0.06) 53.89 (+0.04) 52.81 (-0.01) 162.99 (+0.03)
dec580 53.35 (-0.04) 51.99 (-0.05) 53.21 (+0.02) 158.55 (-0.02)
b1c2a6 55.68 (+0.04) 54.48 (-0.01) 52.02 (-0.06) 162.18 (-0.01)
931094 53.66 (-0.04) 54.89 (-0.00) 55.30 (-0.02) 163.84 (-0.02)
957acb 55.77 (+0.06) 54.99 (+0.07) 56.29 (+0.07) 167.05 (+0.07)
846532 52.56 (-0.03) 51.29 (-0.02) 52.38 (-0.01) 156.23 (-0.02)
d733bc 54.25 (+0.04) 52.38 (-0.01) 53.01 (-0.02) 159.64 (+0.00)
75ffe3 52.41 (+0.02) 53.09 (+0.02) 54.01 (+0.04) 159.51 (+0.03)
75ffe3 51.37 (-0.23) 52.00 (-0.24) 52.01 (-0.20) 155.38 (-0.22)
bf4623 66.52 (-0.02) 68.54 (+0.04) 65.06 (+0.02) 200.13 (+0.01)
b26c83 67.67 (+0.08) 65.92 (+0.05) 63.89 (-0.04) 197.48 (+0.03)
9d714a 62.85 (-0.04) 62.49 (-0.05) 66.39 (+0.05) 191.73 (-0.01)
6efea4 65.62 (-0.04) 65.60 (-0.01) 63.11 (-0.00) 194.34 (-0.02)
4071ff 68.36 (+0.04) 66.20 (-0.02) 63.11 (-0.02) 197.67 (+0.00)
4071ff 65.66 (+0.05) 67.31 (+0.02) 64.49 (-0.04) 197.46 (+0.01)
870ba4 62.57 (-0.02) 65.69 (-0.00) 66.98 (+0.02) 195.25 (-0.00)
f5ca89 63.93 (-0.02) 65.70 (+0.03) 65.72 (-0.01) 195.35 (+0.00)
8bd565 65.34 (+0.03) 63.52 (-0.00) 66.18 (+0.03) 195.04 (+0.02)
dd22c8 63.30 (-0.02) 63.82 (+0.01) 64.38 (+0.03) 191.50 (+0.01)
299db9 64.64 (-0.01) 62.99 (-0.03) 62.49 (-0.03) 190.13 (-0.02)
93f3f4 65.50 (+0.03) 64.63 (+0.03) 64.70 (-0.02) 194.83 (+0.02)
f6e2e0 63.45 (-0.02) 62.51 (-0.04) 65.80 (-0.01) 191.76 (-0.02)
f6e2e0 64.73 (-0.00) 65.30 (+0.04) 66.19 (+0.02) 196.23 (+0.02)
f6e2e0 64.96 (-0.00) 62.80 (-0.05) 65.12 (-0.01) 192.88 (-0.02)
f1d960 65.02 (+0.02) 65.99 (-0.01) 65.51 (-0.07) 196.52 (-0.02)
4a9279 64.06 (-0.09) 66.41 (+0.03) 70.39 (+0.06) 200.86 (-0.00)
2e4bf7 70.78 (-0.00) 64.37 (-0.02) 66.24 (+0.01) 201.39 (-0.00)
ce8fbb 70.83 (+0.08) 65.57 (+0.01) 65.72 (-0.02) 202.12 (+0.02)
ce8fbb 65.75 (+0.01) 64.60 (+0.00) 67.27 (-0.01) 197.63 (+0.00)
ce8fbb 65.33 (-0.00) 64.52 (-0.00) 67.68 (+0.00) 197.53 (-0.00)
d1a0f2 65.46 (+0.03) 64.71 (+0.03) 67.49 (+0.04) 197.65 (+0.03)
ccf92d 63.53 (+0.00) 62.71 (+0.00) 64.90 (-0.00) 191.14 (+0.00)
02b8e0 63.33 (-0.02) 62.41 (-0.02) 65.07 (+0.02) 190.81 (-0.00)
7b9057 64.30 (-0.03) 63.40 (-0.04) 64.01 (+0.01) 191.71 (-0.02)
9cada8 66.06 (+0.01) 65.80 (+0.04) 63.53 (+0.02) 195.39 (+0.03)
9cada8 65.25 (+0.01) 63.08 (-0.05) 62.19 (-0.05) 190.52 (-0.03)
9cada8 64.64 (-0.03) 66.22 (+0.03) 65.70 (+0.02) 196.55 (+0.01)
a60f68 66.47 (+0.08) 64.49 (+0.03) 64.42 (+0.03) 195.38 (+0.05)
d19c52 61.66 (-0.03) 62.40 (-0.04) 62.79 (-0.13) 186.86 (-0.07)
000eb1 63.61 (-0.03) 65.32 (+0.01) 72.49 (+0.13) 201.43 (+0.04)
000eb1 65.35 (-0.03) 64.59 (-0.01) 63.90 (-0.02) 193.84 (-0.02)
f51b48 67.06 (+0.02) 65.07 (+0.00) 65.30 (+0.04) 197.44 (+0.02)
f51b48 65.83 (+0.02) 64.92 (-0.01) 63.01 (-0.06) 193.75 (-0.02)
f51b48 64.48 (+0.03) 65.91 (+0.06) 66.91 (+0.07) 197.30 (+0.05)
9f906f 62.56 (+0.07) 62.11 (+0.06) 62.40 (+0.08) 187.07 (+0.07)
0692ff 58.47 (+0.01) 58.41 (-0.02) 58.02 (-0.05) 174.90 (-0.02)
2caece 57.72 (-0.01) 59.48 (-0.01) 61.31 (+0.05) 178.51 (+0.01)
bc7d3c 58.08 (-0.06) 60.31 (-0.02) 58.66 (-0.02) 177.06 (-0.03)
2153d2 61.77 (+0.00) 61.49 (-0.02) 60.11 (-0.02) 183.38 (-0.01)
2153d2 61.72 (+0.03) 63.00 (+0.05) 61.44 (+0.01) 186.16 (+0.03)
2153d2 59.69 (+0.01) 59.81 (+0.01) 60.98 (+0.02) 180.49 (+0.01)
a1b062 59.02 (-0.05) 59.40 (-0.00) 59.81 (+0.02) 178.23 (-0.01)
1d9d7c 61.93 (+0.08) 59.52 (+0.03) 58.67 (-0.03) 180.12 (+0.02)
3569c1 57.57 (-0.01) 58.00 (-0.01) 60.50 (+0.06) 176.07 (+0.02)
eaff14 58.08 (+0.01) 58.30 (+0.07) 57.08 (+0.02) 173.47 (+0.03)
f383b4 57.70 (-0.02) 54.40 (-0.08) 56.09 (-0.07) 168.18 (-0.06)
f383b4 58.82 (-0.02) 59.03 (+0.00) 60.28 (-0.00) 178.14 (-0.01)
f383b4 60.07 (+0.06) 58.90 (+0.02) 60.39 (+0.04) 179.36 (+0.04)
a4256b 56.78 (+0.01) 57.49 (-0.00) 58.22 (-0.02) 172.49 (-0.01)
371493 56.26 (+0.01) 57.68 (+0.04) 59.63 (+0.09) 173.57 (+0.04)
c5c143 55.81 (-0.05) 55.50 (-0.03) 54.90 (-0.08) 166.22 (-0.05)
58fa4f 58.58 (+0.01) 57.09 (-0.01) 59.99 (+0.03) 175.66 (+0.01)
121d53 57.96 (+0.01) 57.80 (-0.01) 58.19 (-0.03) 173.95 (-0.01)
121d53 57.26 (+0.00) 58.50 (+0.02) 59.71 (+0.04) 175.48 (+0.02)
ec3a3a 57.21 (-0.01) 57.11 (-0.00) 57.50 (-0.02) 171.82 (-0.01)
96e783 57.66 (+0.04) 57.32 (+0.01) 58.49 (+0.03) 173.46 (+0.03)
567b71 55.61 (+0.01) 56.67 (-0.01) 56.82 (-0.00) 169.11 (-0.00)
847fc5 55.33 (-0.02) 57.31 (+0.01) 56.89 (-0.03) 169.52 (-0.01)
5e08b3 56.65 (+0.00) 56.91 (+0.01) 58.48 (+0.03) 172.05 (+0.01)
4d291d 56.53 (+0.04) 56.39 (+0.02) 56.73 (+0.01) 169.66 (+0.02)
4d291d 54.22 (-0.04) 55.40 (-0.01) 55.90 (-0.01) 165.52 (-0.02)
bf63f1 56.46 (+0.00) 55.87 (-0.01) 56.71 (+0.01) 169.04 (+0.00)
0a0958 56.22 (-0.02) 56.19 (-0.00) 55.93 (+0.01) 168.34 (-0.00)
aabca5 57.15 (+0.01) 56.43 (+0.04) 55.19 (-0.00) 168.78 (+0.02)
a4be54 56.66 (+0.03) 54.30 (-0.00) 55.28 (+0.01) 166.25 (+0.01)
a3d7ad 54.83 (+0.00) 54.51 (-0.01) 54.89 (-0.01) 164.24 (-0.01)
a3d7ad 54.56 (-0.01) 55.23 (+0.00) 55.48 (-0.02) 165.27 (-0.01)
8ba169 54.86 (-0.00) 55.10 (-0.00) 56.60 (-0.00) 166.57 (-0.00)
e5cc2f 54.97 (+0.01) 55.22 (+0.01) 56.70 (+0.07) 166.88 (+0.03)
c6b56d 54.33 (-0.01) 54.48 (+0.00) 53.11 (-0.00) 161.93 (-0.00)
e067cd 55.08 (+0.04) 54.37 (-0.02) 53.20 (-0.02) 162.65 (-0.00)
bce423 53.03 (-0.02) 55.68 (+0.02) 54.20 (-0.03) 162.91 (-0.01)
bce423 53.87 (+0.01) 54.60 (+0.01) 55.91 (+0.05) 164.38 (+0.02)
c28bfd 53.45 (-0.04) 54.21 (-0.00) 53.20 (-0.01) 160.86 (-0.02)
95bf19 55.56 (+0.09) 54.32 (+0.09) 53.50 (+0.07) 163.38 (+0.08)
95bf19 50.76 (-0.09) 50.01 (-0.08) 49.90 (-0.08) 150.66 (-0.08)
080752 55.52 (+0.16) 54.09 (+0.19) 54.39 (+0.11) 164.01 (+0.15)
23d5e2 47.75 (-0.08) 45.40 (-0.18) 49.01 (-0.04) 142.15 (-0.10)
23d5e2 52.14 (+0.08) 55.29 (+0.21) 50.80 (+0.02) 158.23 (+0.10)
8b710b 48.15 (-0.07) 45.72 (-0.10) 49.80 (+0.07) 143.68 (-0.04)
8c6e60 51.96 (+0.05) 50.59 (+0.04) 46.42 (-0.08) 148.97 (+0.00)
10dae7 49.40 (+0.00) 48.66 (+0.03) 50.50 (+0.03) 148.57 (+0.02)
4c4d3d 49.39 (+0.00) 47.19 (-0.05) 49.20 (+0.01) 145.79 (-0.01)
9f94d0 49.27 (-0.04) 49.60 (+0.02) 48.80 (+0.04) 147.67 (+0.00)
9f94d0 51.37 (+0.14) 48.79 (+0.11) 46.99 (+0.04) 147.16 (+0.10)
9f94d0 45.07 (+0.05) 43.78 (-0.02) 45.22 (+0.04) 134.08 (+0.02)
c700c7 42.95 (-0.02) 44.90 (-0.04) 43.41 (-0.07) 131.26 (-0.04)
42c6dd 43.89 (+0.04) 46.77 (+0.06) 46.50 (+0.05) 137.16 (+0.05)
f6bf7b 42.37 (-0.04) 44.30 (-0.02) 44.31 (+0.04) 130.98 (-0.01)
1137b5 43.95 (-0.02) 45.30 (+0.06) 42.71 (-0.04) 131.97 (+0.00)
1468c6 44.66 (-0.02) 42.81 (-0.02) 44.29 (-0.01) 131.75 (-0.02)
1468c6 45.68 (+0.05) 43.69 (-0.00) 44.68 (+0.03) 134.05 (+0.02)
c01f92 43.57 (-0.04) 43.89 (-0.01) 43.51 (-0.05) 130.97 (-0.03)
7ff591 45.56 (+0.04) 44.28 (+0.01) 45.71 (+0.08) 135.55 (+0.04)
5d4774 43.98 (-0.18) 43.97 (-0.19) 42.13 (-0.20) 130.08 (-0.19)
56d8c2 53.58 (+0.02) 54.18 (-0.02) 52.91 (-0.02) 160.68 (-0.01)
12e6f4 52.66 (-0.04) 55.50 (+0.05) 53.99 (-0.09) 162.15 (-0.03)
12e6f4 54.66 (+0.02) 53.01 (-0.02) 59.20 (+0.11) 166.87 (+0.04)
61194a 53.56 (-0.13) 54.20 (-0.11) 53.21 (-0.15) 160.97 (-0.13)
70ce01 61.33 (+0.03) 61.21 (+0.03) 62.88 (+0.08) 185.42 (+0.05)
c04c20 59.43 (+0.03) 59.39 (+0.01) 57.98 (-0.02) 176.80 (+0.00)
827ee1 57.75 (-0.03) 59.09 (+0.02) 59.39 (-0.00) 176.23 (-0.00)
22ae67 59.54 (+0.01) 57.80 (-0.02) 59.40 (+0.01) 176.75 (-0.00)
0f4458 59.04 (-0.01) 59.22 (-0.03) 58.70 (-0.06) 176.96 (-0.04)
0f4458 59.53 (+0.02) 61.28 (+0.06) 62.69 (+0.07) 183.51 (+0.05)
0f4458 58.18 (+0.01) 57.80 (-0.03) 58.58 (-0.03) 174.56 (-0.02)
b8a566 57.67 (-0.03) 59.77 (-0.03) 60.52 (-0.03) 177.96 (-0.03)
b8a566 59.58 (+0.02) 61.59 (+0.08) 62.11 (+0.08) 183.28 (+0.06)
9747e9 58.47 (+0.03) 56.91 (+0.01) 57.51 (+0.00) 172.89 (+0.02)
b50e07 56.62 (-0.02) 56.09 (-0.07) 57.49 (-0.01) 170.21 (-0.04)
6a57d5 57.79 (+0.00) 60.58 (+0.06) 58.19 (-0.01) 176.56 (+0.02)
c0480f 57.77 (+0.00) 57.02 (-0.03) 59.00 (+0.03) 173.79 (-0.00)
4f443c 57.71 (+0.02) 58.99 (+0.02) 57.39 (-0.02) 174.10 (+0.01)
4f443c 56.67 (-0.04) 58.02 (-0.03) 58.49 (-0.01) 173.18 (-0.03)
788823 59.33 (-0.30) 60.02 (-0.28) 58.89 (-0.28) 178.23 (-0.29)
c21104 84.43 (+0.41) 83.49 (+0.36) 82.03 (+0.36) 249.96 (+0.38)
b9544a 60.09 (+0.02) 61.47 (+0.05) 60.13 (+0.02) 181.70 (+0.03)
33834c 59.20 (+0.02) 58.31 (+0.03) 59.19 (+0.05) 176.70 (+0.03)
521667 57.88 (+0.02) 56.41 (+0.02) 56.61 (+0.01) 170.90 (+0.02)
361648 56.53 (+0.04) 55.38 (+0.02) 55.91 (+0.00) 167.83 (+0.02)
fc0629 54.56 54.52 55.67 164.76

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query26]

platform: rds-aurora

revision Q26/1 Q26/2 Q26/3 total_duration
41aa62 79.17 (+0.05) 75.91 (+0.01) 74.58 (+0.03) 229.66 (+0.03)
7b5489 75.53 (-0.10) 75.50 (-0.09) 72.39 (-0.18) 223.42 (-0.13)
a23b07 84.19 (+0.08) 82.91 (+0.15) 88.76 (+0.14) 255.86 (+0.12)
cc2d00 77.82 (+0.14) 72.31 (-0.02) 77.98 (+0.13) 228.12 (+0.08)
ba9df2 68.56 (+0.17) 73.69 (+0.25) 69.00 (+0.13) 211.26 (+0.18)
a8f354 58.73 (+0.06) 58.93 (+0.07) 61.10 (+0.10) 178.76 (+0.08)
7feb0d 55.42 (-0.10) 55.31 (-0.10) 55.31 (-0.12) 166.04 (-0.11)
982fce 61.61 (+0.11) 61.32 (+0.09) 63.19 (+0.18) 186.12 (+0.13)
1f151d 55.55 (+0.02) 56.07 (+0.03) 53.42 (+0.02) 165.04 (+0.02)
ff1a1a 54.46 (-0.20) 54.42 (-0.15) 52.46 (-0.18) 161.34 (-0.18)
b1477b 67.72 (+0.01) 64.31 (-0.03) 63.77 (-0.04) 195.80 (-0.02)
1b947f 66.99 (-0.09) 66.18 (-0.04) 66.22 (-0.04) 199.39 (-0.05)
a21b55 73.46 (+0.05) 68.59 (-0.08) 68.78 (-0.02) 210.84 (-0.02)
4ba950 69.75 (+0.08) 74.41 (+0.19) 70.38 (+0.11) 214.53 (+0.13)
4e359d 64.54 (+0.14) 62.61 (-0.01) 63.29 (+0.09) 190.44 (+0.07)
3837fc 56.73 (+0.09) 63.28 (+0.20) 58.29 (+0.04) 178.30 (+0.11)
edcf4d 51.98 (-0.00) 52.69 (-0.01) 55.82 (-0.03) 160.49 (-0.01)
411c71 52.12 (-0.11) 53.42 (-0.12) 57.35 (-0.06) 162.90 (-0.10)
854348 58.66 (+0.03) 60.69 (+0.01) 60.91 (+0.04) 180.26 (+0.03)
7ba5c2 57.12 (-0.03) 59.79 (+0.03) 58.40 (+0.02) 175.32 (+0.01)
ebea29 58.86 (+0.01) 57.99 (-0.01) 57.02 (-0.03) 173.87 (-0.01)
22c890 58.45 (+0.01) 58.57 (-0.01) 58.51 (-0.03) 175.53 (-0.01)
f0b2e0 57.77 (+0.04) 59.21 (+0.10) 60.51 (+0.11) 177.48 (+0.08)
dec580 55.52 (-0.01) 54.03 (+0.02) 54.70 (+0.02) 164.25 (+0.01)
dec580 55.82 (+0.02) 53.20 (-0.01) 53.70 (-0.02) 162.72 (-0.00)
b1c2a6 54.72 (+0.03) 53.93 (+0.02) 54.57 (-0.03) 163.23 (+0.01)
931094 53.24 (+0.00) 52.79 (+0.04) 56.00 (+0.03) 162.04 (+0.02)
957acb 53.08 (-0.02) 50.98 (-0.02) 54.21 (+0.07) 158.27 (+0.01)
846532 54.08 (+0.01) 51.92 (-0.04) 50.68 (-0.05) 156.68 (-0.03)
d733bc 53.68 (-0.05) 53.99 (+0.02) 53.18 (+0.03) 160.85 (-0.00)
75ffe3 56.56 (+0.08) 53.18 (+0.05) 51.68 (-0.02) 161.43 (+0.04)
75ffe3 52.14 (-0.18) 50.71 (-0.21) 52.99 (-0.21) 155.85 (-0.20)
bf4623 63.55 (-0.02) 64.21 (-0.01) 67.20 (+0.04) 194.95 (+0.00)
b26c83 64.88 (-0.10) 65.06 (-0.01) 64.75 (-0.03) 194.70 (-0.05)
9d714a 71.95 (+0.15) 65.81 (+0.01) 66.50 (-0.04) 204.27 (+0.04)
6efea4 62.33 (-0.02) 64.91 (+0.02) 69.30 (+0.06) 196.54 (+0.02)
4071ff 63.77 (+0.03) 63.50 (+0.01) 65.47 (+0.04) 192.74 (+0.03)
4071ff 62.08 (-0.02) 62.81 (+0.01) 63.08 (+0.00) 187.98 (-0.00)
870ba4 63.18 (-0.03) 62.21 (-0.03) 62.90 (-0.07) 188.28 (-0.04)
f5ca89 64.92 (-0.03) 63.83 (+0.01) 67.50 (+0.07) 196.25 (+0.02)
8bd565 66.72 (+0.07) 62.92 (-0.05) 62.88 (-0.06) 192.51 (-0.01)
dd22c8 62.27 (+0.03) 66.18 (+0.03) 66.60 (+0.00) 195.06 (+0.02)
299db9 60.42 (-0.10) 64.31 (-0.06) 66.57 (+0.02) 191.31 (-0.05)
93f3f4 66.94 (-0.05) 68.59 (+0.03) 65.52 (+0.00) 201.05 (-0.01)
f6e2e0 70.30 (+0.04) 66.62 (+0.02) 65.39 (+0.02) 202.31 (+0.03)
f6e2e0 67.55 (+0.02) 65.40 (+0.00) 64.12 (+0.02) 197.08 (+0.01)
f6e2e0 66.03 (+0.01) 65.22 (+0.02) 62.98 (+0.01) 194.24 (+0.02)
f1d960 65.08 (-0.02) 63.77 (-0.02) 62.13 (-0.05) 190.98 (-0.03)
4a9279 66.48 (-0.01) 65.08 (-0.05) 65.21 (+0.01) 196.77 (-0.02)
2e4bf7 67.43 (-0.04) 68.41 (+0.03) 64.69 (-0.01) 200.54 (-0.01)
ce8fbb 70.57 (+0.06) 66.41 (+0.03) 65.16 (-0.02) 202.14 (+0.03)
ce8fbb 66.54 (-0.00) 64.31 (-0.02) 66.18 (+0.04) 197.03 (+0.01)
ce8fbb 66.74 (-0.04) 65.39 (-0.02) 63.37 (-0.02) 195.50 (-0.03)
d1a0f2 69.84 (+0.01) 66.50 (+0.05) 64.69 (+0.03) 201.03 (+0.03)
ccf92d 68.86 (+0.04) 63.30 (-0.01) 62.97 (-0.02) 195.12 (+0.00)
02b8e0 66.06 (-0.03) 63.81 (-0.02) 64.47 (+0.02) 194.35 (-0.01)
7b9057 67.98 (+0.08) 65.28 (+0.01) 63.49 (-0.03) 196.75 (+0.02)
9cada8 62.81 (-0.05) 64.91 (+0.01) 65.31 (+0.02) 193.03 (-0.01)
9cada8 66.08 (-0.01) 64.08 (-0.05) 64.30 (-0.03) 194.47 (-0.03)
9cada8 66.53 (+0.03) 67.11 (+0.02) 65.99 (+0.04) 199.64 (+0.03)
a60f68 64.32 (+0.01) 66.10 (+0.04) 63.50 (+0.01) 193.92 (+0.02)
d19c52 63.52 (-0.05) 63.44 (+0.01) 62.68 (-0.01) 189.64 (-0.02)
000eb1 67.05 (+0.06) 62.87 (-0.04) 63.00 (+0.01) 192.92 (+0.01)
000eb1 63.12 (-0.01) 65.71 (+0.01) 62.50 (-0.04) 191.34 (-0.02)
f51b48 63.94 (+0.04) 65.17 (+0.01) 65.20 (+0.02) 194.31 (+0.02)
f51b48 61.30 (-0.02) 64.71 (+0.05) 64.20 (+0.04) 190.20 (+0.02)
f51b48 62.74 (+0.00) 61.59 (+0.01) 61.61 (+0.02) 185.94 (+0.01)
9f906f 62.64 (+0.08) 61.08 (+0.02) 60.40 (+0.06) 184.13 (+0.05)
0692ff 57.96 (-0.06) 59.67 (-0.00) 57.22 (-0.07) 174.85 (-0.04)
2caece 61.41 (+0.05) 59.82 (+0.05) 61.37 (+0.00) 182.60 (+0.04)
bc7d3c 58.21 (+0.01) 56.90 (-0.02) 61.29 (+0.03) 176.40 (+0.01)
2153d2 57.89 (-0.07) 57.90 (+0.01) 59.24 (+0.03) 175.03 (-0.01)
2153d2 62.00 (+0.07) 57.50 (-0.03) 57.49 (-0.01) 177.00 (+0.01)
2153d2 58.17 (+0.01) 59.06 (+0.03) 58.13 (-0.03) 175.36 (+0.00)
a1b062 57.54 (-0.02) 57.32 (-0.03) 59.68 (-0.01) 174.55 (-0.02)
1d9d7c 58.54 (-0.00) 59.36 (+0.05) 60.36 (+0.07) 178.26 (+0.04)
3569c1 58.75 (+0.01) 56.28 (-0.07) 56.40 (-0.08) 171.43 (-0.05)
eaff14 58.00 (+0.05) 60.24 (+0.04) 61.37 (+0.02) 179.60 (+0.03)
f383b4 55.38 (-0.09) 57.99 (-0.04) 60.28 (+0.02) 173.65 (-0.04)
f383b4 60.64 (+0.06) 60.61 (+0.05) 59.18 (-0.05) 180.43 (+0.02)
f383b4 57.37 (-0.02) 57.82 (-0.00) 62.16 (+0.12) 177.36 (+0.03)
a4256b 58.35 (+0.04) 58.11 (+0.05) 55.47 (-0.04) 171.92 (+0.02)
371493 56.14 (+0.03) 55.20 (-0.07) 57.69 (+0.00) 169.02 (-0.01)
c5c143 54.31 (-0.07) 59.12 (+0.03) 57.69 (+0.02) 171.12 (-0.01)
58fa4f 58.34 (+0.01) 57.30 (+0.01) 56.79 (-0.01) 172.44 (+0.00)
121d53 57.86 (-0.01) 56.62 (-0.03) 57.47 (+0.03) 171.95 (-0.01)
121d53 58.73 (+0.04) 58.50 (+0.02) 55.81 (-0.01) 173.04 (+0.02)
ec3a3a 56.47 (-0.07) 57.50 (-0.02) 56.49 (-0.01) 170.46 (-0.03)
96e783 60.78 (+0.05) 58.48 (+0.07) 56.92 (+0.01) 176.18 (+0.04)
567b71 57.73 (+0.04) 54.71 (+0.02) 56.51 (+0.04) 168.96 (+0.03)
847fc5 55.46 (-0.04) 53.90 (-0.04) 54.29 (-0.03) 163.65 (-0.04)
5e08b3 57.89 (+0.04) 55.97 (-0.01) 56.03 (-0.00) 169.89 (+0.01)
4d291d 55.82 (-0.01) 56.69 (-0.01) 56.22 (+0.02) 168.73 (+0.00)
4d291d 56.21 (+0.04) 57.28 (+0.07) 55.21 (+0.04) 168.70 (+0.05)
bf63f1 54.07 (-0.04) 53.50 (-0.04) 52.98 (-0.03) 160.55 (-0.04)
0a0958 56.54 (+0.03) 55.91 (+0.04) 54.58 (+0.02) 167.03 (+0.03)
aabca5 54.65 (-0.03) 53.91 (-0.04) 53.29 (-0.07) 161.85 (-0.05)
a4be54 56.05 (+0.02) 56.41 (+0.01) 57.41 (+0.03) 169.88 (+0.02)
a3d7ad 55.06 (-0.03) 55.67 (+0.00) 55.60 (-0.01) 166.33 (-0.01)
a3d7ad 56.56 (+0.04) 55.60 (+0.07) 56.11 (+0.04) 168.27 (+0.05)
8ba169 54.39 (+0.00) 52.08 (-0.04) 54.12 (-0.01) 160.60 (-0.02)
e5cc2f 54.16 (-0.04) 54.48 (-0.02) 54.61 (+0.00) 163.25 (-0.02)
c6b56d 56.67 (+0.06) 55.79 (+0.04) 54.48 (+0.00) 166.94 (+0.03)
e067cd 53.22 (-0.03) 53.83 (+0.02) 54.29 (+0.03) 161.35 (+0.00)
bce423 54.89 (+0.04) 52.99 (+0.02) 52.82 (-0.02) 160.69 (+0.01)
bce423 52.85 (+0.00) 51.97 (-0.05) 53.84 (-0.03) 158.66 (-0.03)
c28bfd 52.65 (+0.00) 54.62 (+0.01) 55.47 (+0.03) 162.74 (+0.01)
95bf19 52.43 (+0.04) 54.33 (+0.10) 53.98 (+0.12) 160.73 (+0.09)
95bf19 50.46 (-0.10) 49.39 (-0.13) 48.11 (-0.13) 147.96 (-0.12)
080752 56.18 (+0.18) 56.50 (+0.20) 55.49 (+0.14) 168.18 (+0.17)
23d5e2 47.68 (+0.01) 46.99 (-0.05) 48.79 (+0.02) 143.46 (-0.01)
23d5e2 47.29 (-0.01) 49.49 (+0.06) 47.78 (-0.02) 144.55 (+0.01)
8b710b 47.65 (-0.02) 46.53 (+0.01) 48.98 (+0.01) 143.16 (-0.00)
8c6e60 48.77 (-0.04) 46.19 (-0.06) 48.41 (+0.05) 143.37 (-0.02)
10dae7 50.58 (+0.10) 49.30 (+0.02) 46.30 (-0.03) 146.18 (+0.03)
4c4d3d 45.86 (-0.06) 48.50 (+0.03) 47.91 (-0.00) 142.27 (-0.01)
9f94d0 48.96 (+0.01) 46.88 (+0.02) 47.92 (-0.04) 143.76 (-0.01)
9f94d0 48.59 (+0.06) 46.07 (+0.01) 50.11 (+0.17) 144.77 (+0.08)
9f94d0 45.63 (+0.03) 45.49 (+0.01) 43.01 (-0.03) 134.13 (+0.00)
c700c7 44.27 (-0.01) 45.01 (+0.04) 44.28 (-0.02) 133.57 (+0.00)
42c6dd 44.70 (-0.02) 43.40 (+0.03) 45.28 (+0.05) 133.39 (+0.02)
f6bf7b 45.56 (+0.03) 42.10 (-0.03) 43.28 (-0.04) 130.94 (-0.01)
1137b5 44.17 (+0.03) 43.60 (-0.03) 44.98 (+0.03) 132.76 (+0.01)
1468c6 42.95 (+0.00) 45.12 (+0.01) 43.80 (-0.00) 131.86 (+0.00)
1468c6 42.85 (-0.04) 44.61 (+0.05) 43.91 (-0.02) 131.38 (-0.00)
c01f92 44.80 (+0.05) 42.47 (-0.03) 44.61 (+0.04) 131.88 (+0.02)
7ff591 42.54 (-0.01) 43.91 (+0.06) 42.80 (+0.02) 129.26 (+0.02)
5d4774 42.84 (-0.21) 41.60 (-0.23) 41.92 (-0.22) 126.36 (-0.22)
56d8c2 53.96 (+0.03) 53.82 (+0.01) 53.69 (+0.02) 161.48 (+0.02)
12e6f4 52.38 (-0.04) 53.11 (-0.01) 52.88 (-0.04) 158.37 (-0.03)
12e6f4 54.76 (+0.06) 53.69 (-0.04) 54.91 (+0.03) 163.36 (+0.01)
61194a 51.85 (-0.18) 55.71 (-0.10) 53.53 (-0.14) 161.08 (-0.14)
70ce01 63.07 (+0.10) 62.21 (+0.07) 61.90 (+0.05) 187.18 (+0.07)
c04c20 57.43 (-0.04) 57.87 (-0.02) 59.02 (+0.03) 174.33 (-0.01)
827ee1 59.58 (+0.00) 59.28 (-0.02) 57.43 (-0.03) 176.29 (-0.02)
22ae67 59.45 (+0.01) 60.48 (+0.02) 59.21 (-0.04) 179.15 (-0.00)
0f4458 58.96 (-0.01) 59.29 (-0.00) 61.51 (+0.05) 179.76 (+0.01)
0f4458 59.77 (-0.00) 59.51 (+0.03) 58.69 (+0.02) 177.97 (+0.01)
0f4458 59.86 (-0.01) 58.01 (-0.03) 57.80 (-0.03) 175.67 (-0.02)
b8a566 60.26 (+0.02) 59.51 (-0.02) 59.51 (+0.00) 179.28 (+0.00)
b8a566 59.32 (+0.04) 60.52 (+0.02) 59.39 (+0.02) 179.24 (+0.03)
9747e9 57.15 (+0.01) 59.58 (+0.03) 58.12 (+0.03) 174.85 (+0.02)
b50e07 56.47 (-0.03) 58.00 (+0.01) 56.52 (-0.05) 170.99 (-0.02)
6a57d5 58.22 (+0.04) 57.57 (+0.05) 59.31 (+0.06) 175.10 (+0.05)
c0480f 56.18 (+0.01) 54.93 (-0.01) 55.89 (-0.02) 167.00 (-0.01)
4f443c 55.87 (-0.04) 55.71 (-0.02) 56.82 (-0.01) 168.40 (-0.02)
4f443c 58.41 (+0.00) 56.62 (-0.02) 57.48 (-0.03) 172.52 (-0.01)
788823 58.19 (-0.30) 57.69 (-0.30) 59.12 (-0.25) 175.00 (-0.28)
c21104 83.63 (+0.43) 82.02 (+0.29) 79.07 (+0.29) 244.73 (+0.34)
b9544a 58.50 (-0.05) 63.58 (+0.05) 61.12 (+0.04) 183.20 (+0.01)
33834c 61.79 (+0.12) 60.77 (+0.07) 59.00 (+0.05) 181.57 (+0.08)
521667 55.29 (+0.03) 56.80 (+0.00) 56.31 (+0.02) 168.40 (+0.02)
361648 53.89 (-0.01) 56.71 (+0.03) 55.27 (+0.05) 165.87 (+0.02)
fc0629 54.40 54.81 52.69 161.90

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query27]

platform: rds-aurora

revision Q27/1 Q27/2 Q27/3 total_duration
41aa62 81.37 (-0.00) 82.18 (+0.03) 81.10 (+0.03) 244.66 (+0.02)
7b5489 81.53 (-0.10) 79.59 (-0.11) 79.12 (-0.10) 240.24 (-0.11)
a23b07 90.59 (+0.15) 89.88 (+0.10) 88.13 (+0.09) 268.60 (+0.12)
cc2d00 78.68 (+0.05) 81.40 (+0.12) 80.72 (+0.12) 240.80 (+0.09)
ba9df2 75.23 (+0.17) 72.89 (+0.10) 72.04 (+0.15) 220.16 (+0.14)
a8f354 64.15 (+0.07) 65.98 (+0.10) 62.62 (+0.03) 192.75 (+0.07)
7feb0d 60.20 (-0.12) 59.80 (-0.12) 60.62 (-0.08) 180.63 (-0.11)
982fce 68.20 (+0.15) 67.81 (+0.17) 66.12 (+0.09) 202.14 (+0.14)
1f151d 59.19 (+0.02) 57.72 (+0.01) 60.51 (+0.01) 177.42 (+0.01)
ff1a1a 57.97 (-0.15) 57.28 (-0.22) 60.21 (-0.13) 175.46 (-0.17)
b1477b 68.53 (-0.00) 73.90 (+0.06) 69.09 (-0.07) 211.53 (-0.01)
1b947f 68.63 (-0.14) 69.50 (-0.08) 74.57 (+0.00) 212.71 (-0.07)
a21b55 79.58 (+0.08) 75.17 (+0.03) 74.42 (-0.07) 229.18 (+0.01)
4ba950 73.62 (+0.08) 72.82 (+0.08) 80.00 (+0.21) 226.45 (+0.12)
4e359d 68.43 (+0.01) 67.22 (+0.06) 66.28 (+0.02) 201.94 (+0.03)
3837fc 67.87 (+0.14) 63.39 (+0.05) 64.81 (+0.12) 196.07 (+0.10)
edcf4d 59.71 (-0.00) 60.42 (+0.01) 57.90 (-0.02) 178.03 (-0.01)
411c71 59.87 (-0.05) 60.10 (-0.07) 59.01 (-0.08) 178.98 (-0.07)
854348 63.21 (-0.03) 64.81 (+0.06) 64.48 (+0.01) 192.51 (+0.01)
7ba5c2 65.25 (+0.05) 61.27 (-0.01) 63.71 (+0.04) 190.24 (+0.03)
ebea29 62.12 (-0.01) 61.69 (+0.02) 61.51 (-0.03) 185.32 (-0.01)
22c890 62.54 (-0.01) 60.51 (-0.05) 63.38 (+0.02) 186.42 (-0.01)
f0b2e0 63.13 (+0.07) 63.91 (+0.07) 61.93 (+0.09) 188.97 (+0.08)
dec580 58.92 (+0.05) 59.51 (+0.08) 56.90 (-0.00) 175.34 (+0.04)
dec580 55.96 (-0.07) 55.27 (-0.06) 56.91 (-0.02) 168.14 (-0.05)
b1c2a6 59.92 (+0.02) 58.90 (+0.02) 58.02 (+0.02) 176.84 (+0.02)
931094 58.75 (+0.02) 57.87 (-0.01) 57.01 (-0.00) 173.64 (+0.01)
957acb 57.34 (+0.02) 58.20 (+0.02) 57.22 (+0.02) 172.76 (+0.02)
846532 56.28 (-0.01) 57.15 (-0.02) 56.10 (-0.02) 169.54 (-0.02)
d733bc 56.73 (+0.01) 58.49 (+0.01) 57.50 (+0.00) 172.72 (+0.01)
75ffe3 56.13 (+0.02) 57.72 (+0.04) 57.29 (+0.05) 171.14 (+0.04)
75ffe3 55.07 (-0.20) 55.47 (-0.19) 54.63 (-0.20) 165.17 (-0.20)
bf4623 68.96 (+0.01) 68.89 (-0.00) 68.50 (-0.05) 206.35 (-0.01)
b26c83 68.48 (-0.04) 69.11 (-0.03) 71.87 (+0.02) 209.45 (-0.02)
9d714a 71.25 (+0.03) 71.33 (+0.06) 70.60 (+0.02) 213.17 (+0.04)
6efea4 68.90 (-0.05) 67.19 (-0.03) 69.21 (+0.02) 205.30 (-0.02)
4071ff 72.40 (+0.06) 68.98 (+0.02) 67.69 (+0.02) 209.08 (+0.03)
4071ff 68.54 (-0.01) 67.90 (-0.01) 66.30 (-0.02) 202.74 (-0.02)
870ba4 68.95 (-0.04) 68.92 (-0.02) 67.97 (-0.06) 205.84 (-0.04)
f5ca89 72.11 (+0.04) 70.31 (-0.01) 72.32 (+0.06) 214.74 (+0.03)
8bd565 69.36 (-0.05) 71.09 (-0.03) 68.27 (-0.02) 208.72 (-0.03)
dd22c8 72.76 (+0.08) 73.00 (+0.10) 69.59 (+0.03) 215.35 (+0.07)
299db9 67.25 (+0.00) 66.52 (-0.02) 67.58 (-0.08) 201.35 (-0.04)
93f3f4 67.13 (-0.07) 68.11 (-0.06) 73.71 (+0.06) 208.95 (-0.03)
f6e2e0 72.55 (+0.07) 72.59 (-0.00) 69.45 (-0.03) 214.60 (+0.01)
f6e2e0 67.93 (-0.02) 72.90 (+0.04) 71.61 (+0.02) 212.44 (+0.01)
f6e2e0 69.35 (+0.04) 70.33 (-0.02) 70.18 (-0.00) 209.87 (+0.01)
f1d960 66.62 (-0.10) 71.41 (+0.05) 70.42 (+0.01) 208.46 (-0.02)
4a9279 74.04 (+0.06) 68.30 (-0.02) 69.39 (-0.05) 211.72 (-0.01)
2e4bf7 69.94 (-0.01) 70.02 (-0.03) 73.29 (+0.01) 213.25 (-0.01)
ce8fbb 70.49 (-0.02) 72.37 (-0.05) 72.23 (+0.05) 215.09 (-0.01)
ce8fbb 72.07 (+0.05) 75.83 (+0.05) 68.61 (-0.01) 216.50 (+0.03)
ce8fbb 68.48 (+0.02) 71.88 (+0.05) 69.03 (+0.00) 209.40 (+0.02)
d1a0f2 67.37 (+0.03) 68.37 (-0.00) 68.71 (-0.03) 204.45 (-0.00)
ccf92d 65.55 (-0.07) 68.60 (-0.10) 71.20 (-0.02) 205.35 (-0.06)
02b8e0 70.28 (+0.04) 75.89 (+0.11) 72.78 (+0.05) 218.95 (+0.07)
7b9057 67.60 (-0.02) 68.20 (+0.02) 69.02 (+0.06) 204.83 (+0.02)
9cada8 69.17 (+0.01) 66.96 (-0.08) 65.02 (-0.06) 201.16 (-0.04)
9cada8 68.26 (-0.02) 72.67 (+0.03) 69.32 (-0.05) 210.26 (-0.01)
9cada8 69.62 (+0.03) 70.50 (+0.04) 72.80 (+0.00) 212.92 (+0.02)
a60f68 67.49 (+0.01) 68.09 (-0.01) 72.51 (+0.06) 208.09 (+0.02)
d19c52 67.14 (-0.03) 68.90 (+0.00) 68.50 (-0.02) 204.55 (-0.02)
000eb1 69.23 (+0.02) 68.90 (+0.00) 70.03 (-0.03) 208.16 (-0.00)
000eb1 68.05 (-0.01) 68.80 (-0.02) 72.18 (+0.07) 209.04 (+0.01)
f51b48 68.98 (+0.01) 69.98 (+0.01) 67.40 (-0.00) 206.36 (+0.00)
f51b48 68.45 (+0.01) 69.28 (-0.02) 67.61 (+0.01) 205.33 (-0.00)
f51b48 67.81 (+0.05) 70.72 (+0.04) 67.18 (+0.03) 205.71 (+0.04)
9f906f 64.79 (+0.02) 68.10 (+0.05) 64.99 (+0.01) 197.88 (+0.03)
0692ff 63.61 (-0.04) 65.01 (-0.01) 64.40 (+0.00) 193.02 (-0.02)
2caece 66.14 (+0.04) 65.98 (+0.06) 64.28 (-0.02) 196.41 (+0.03)
bc7d3c 63.44 (-0.04) 62.22 (-0.08) 65.58 (+0.04) 191.24 (-0.03)
2153d2 66.42 (+0.09) 67.81 (+0.08) 62.99 (-0.02) 197.23 (+0.05)
2153d2 61.05 (-0.05) 62.91 (-0.01) 64.58 (+0.01) 188.54 (-0.02)
2153d2 63.95 (-0.02) 63.80 (-0.00) 63.97 (+0.03) 191.72 (+0.00)
a1b062 65.24 (+0.04) 64.00 (+0.03) 62.40 (+0.01) 191.64 (+0.03)
1d9d7c 62.75 (-0.02) 62.03 (-0.02) 62.07 (+0.02) 186.85 (-0.01)
3569c1 64.30 (+0.01) 63.12 (-0.02) 61.09 (-0.03) 188.51 (-0.01)
eaff14 63.58 (+0.03) 64.29 (+0.10) 62.98 (+0.06) 190.86 (+0.06)
f383b4 61.57 (-0.04) 58.69 (-0.06) 59.38 (-0.07) 179.65 (-0.06)
f383b4 64.19 (-0.02) 62.44 (-0.01) 64.08 (-0.04) 190.71 (-0.02)
f383b4 65.28 (+0.08) 63.07 (-0.01) 66.72 (+0.08) 195.07 (+0.05)
a4256b 60.46 (-0.06) 63.93 (-0.03) 61.89 (-0.01) 186.28 (-0.03)
371493 64.34 (+0.05) 65.61 (+0.04) 62.82 (+0.05) 192.77 (+0.05)
c5c143 61.04 (-0.01) 62.91 (+0.02) 59.89 (-0.05) 183.85 (-0.01)
58fa4f 61.69 (-0.05) 61.59 (+0.00) 63.18 (+0.03) 186.46 (-0.00)
121d53 64.76 (+0.03) 61.40 (-0.00) 61.09 (+0.02) 187.25 (+0.02)
121d53 62.71 (-0.05) 61.47 (-0.04) 60.11 (+0.00) 184.29 (-0.03)
ec3a3a 66.15 (+0.08) 64.00 (+0.04) 59.92 (-0.05) 190.08 (+0.02)
96e783 61.01 (-0.01) 61.80 (-0.03) 63.18 (+0.06) 185.99 (+0.01)
567b71 61.52 (-0.02) 63.51 (+0.07) 59.51 (-0.01) 184.54 (+0.01)
847fc5 62.73 (+0.03) 59.60 (-0.05) 59.91 (-0.02) 182.24 (-0.01)
5e08b3 61.00 (+0.00) 63.01 (+0.05) 60.82 (-0.01) 184.83 (+0.01)
4d291d 60.96 (+0.02) 59.80 (+0.01) 61.67 (+0.03) 182.44 (+0.02)
4d291d 59.57 (-0.00) 59.38 (-0.00) 59.90 (-0.01) 178.85 (-0.00)
bf63f1 59.58 (-0.01) 59.39 (+0.00) 60.21 (+0.01) 179.18 (+0.00)
0a0958 59.90 (+0.02) 59.19 (+0.01) 59.87 (+0.03) 178.97 (+0.02)
aabca5 58.98 (-0.02) 58.80 (-0.02) 58.00 (-0.02) 175.78 (-0.02)
a4be54 59.97 (-0.01) 59.77 (-0.00) 59.21 (+0.00) 178.95 (-0.00)
a3d7ad 60.40 (+0.01) 59.99 (+0.03) 58.99 (+0.03) 179.38 (+0.02)
a3d7ad 59.76 (-0.00) 58.41 (-0.02) 57.31 (-0.03) 175.48 (-0.02)
8ba169 59.94 (+0.01) 59.39 (-0.01) 59.03 (-0.00) 178.36 (-0.00)
e5cc2f 59.52 (+0.03) 59.71 (+0.03) 59.19 (+0.01) 178.43 (+0.02)
c6b56d 57.87 (-0.02) 57.81 (-0.02) 58.40 (+0.01) 174.08 (-0.01)
e067cd 59.33 (-0.00) 59.00 (-0.01) 57.78 (-0.03) 176.11 (-0.02)
bce423 59.57 (+0.04) 59.77 (+0.00) 59.63 (+0.04) 178.96 (+0.03)
bce423 57.20 (-0.01) 59.71 (+0.04) 57.57 (+0.00) 174.48 (+0.01)
c28bfd 57.73 (-0.01) 57.53 (+0.01) 57.40 (+0.00) 172.65 (+0.00)
95bf19 58.35 (+0.06) 56.70 (+0.04) 57.19 (+0.02) 172.24 (+0.04)
95bf19 55.05 (-0.06) 54.61 (-0.06) 56.20 (-0.07) 165.86 (-0.06)
080752 58.54 (+0.17) 58.32 (+0.12) 60.29 (+0.13) 177.14 (+0.14)
23d5e2 50.08 (-0.03) 51.89 (-0.03) 53.20 (+0.01) 155.17 (-0.02)
23d5e2 51.36 (+0.03) 53.49 (+0.06) 52.93 (+0.00) 157.79 (+0.03)
8b710b 49.98 (-0.07) 50.39 (-0.06) 52.89 (+0.03) 153.26 (-0.03)
8c6e60 53.56 (+0.01) 53.72 (+0.03) 51.18 (-0.01) 158.47 (+0.01)
10dae7 53.16 (+0.07) 52.38 (+0.02) 51.52 (-0.01) 157.06 (+0.02)
4c4d3d 49.79 (-0.06) 51.39 (-0.05) 52.27 (-0.00) 153.46 (-0.04)
9f94d0 52.98 (-0.02) 54.10 (+0.05) 52.37 (+0.03) 159.45 (+0.02)
9f94d0 53.87 (+0.10) 51.72 (+0.10) 50.97 (+0.03) 156.56 (+0.08)
9f94d0 48.85 (+0.05) 46.98 (-0.03) 49.42 (+0.07) 145.25 (+0.03)
c700c7 46.36 (-0.04) 48.22 (-0.02) 46.17 (-0.07) 140.75 (-0.04)
42c6dd 48.43 (+0.05) 48.99 (+0.04) 49.89 (+0.08) 147.31 (+0.06)
f6bf7b 46.16 (-0.01) 47.01 (-0.01) 46.38 (-0.00) 139.56 (-0.01)
1137b5 46.67 (-0.04) 47.59 (+0.02) 46.59 (-0.02) 140.86 (-0.01)
1468c6 48.55 (-0.01) 46.61 (+0.00) 47.60 (-0.02) 142.76 (-0.01)
1468c6 48.83 (+0.03) 46.49 (+0.00) 48.71 (-0.00) 144.03 (+0.01)
c01f92 47.29 (-0.03) 46.37 (-0.03) 48.89 (+0.00) 142.56 (-0.02)
7ff591 48.74 (+0.03) 47.92 (-0.01) 48.81 (+0.06) 145.47 (+0.03)
5d4774 47.44 (-0.17) 48.19 (-0.15) 46.03 (-0.20) 141.66 (-0.17)
56d8c2 57.26 (-0.03) 56.70 (-0.01) 57.39 (+0.00) 171.35 (-0.01)
12e6f4 58.90 (+0.02) 56.99 (-0.05) 57.20 (-0.02) 173.10 (-0.02)
12e6f4 57.96 (+0.01) 60.22 (+0.06) 58.20 (+0.02) 176.38 (+0.03)
61194a 57.24 (-0.15) 57.01 (-0.14) 57.30 (-0.15) 171.55 (-0.15)
70ce01 67.53 (+0.07) 66.21 (+0.05) 67.40 (+0.09) 201.15 (+0.07)
c04c20 63.18 (+0.03) 63.03 (+0.00) 61.99 (-0.03) 188.21 (-0.00)
827ee1 61.24 (-0.03) 62.80 (-0.00) 64.19 (+0.02) 188.23 (-0.00)
22ae67 63.10 (-0.02) 62.92 (-0.01) 63.00 (-0.02) 189.03 (-0.02)
0f4458 64.58 (-0.02) 63.46 (-0.02) 64.40 (-0.01) 192.45 (-0.02)
0f4458 66.06 (+0.07) 64.99 (+0.02) 65.29 (+0.03) 196.34 (+0.04)
0f4458 61.64 (-0.06) 63.61 (-0.04) 63.39 (+0.01) 188.64 (-0.03)
b8a566 65.35 (-0.02) 66.49 (+0.02) 62.92 (-0.02) 194.76 (-0.01)
b8a566 66.98 (+0.07) 65.19 (+0.05) 64.19 (+0.01) 196.36 (+0.04)
9747e9 62.36 (+0.03) 61.88 (+0.03) 63.79 (-0.03) 188.04 (+0.01)
b50e07 60.58 (-0.06) 60.10 (-0.06) 65.68 (+0.06) 186.36 (-0.02)
6a57d5 64.53 (+0.06) 63.80 (+0.03) 62.08 (+0.01) 190.41 (+0.03)
c0480f 61.01 (-0.02) 61.81 (-0.00) 61.58 (+0.01) 184.40 (-0.00)
4f443c 62.38 (+0.01) 62.01 (+0.00) 60.89 (-0.03) 185.29 (-0.00)
4f443c 61.53 (-0.03) 61.72 (-0.01) 62.76 (+0.03) 186.01 (-0.00)
788823 63.49 (-0.28) 62.18 (-0.28) 60.80 (-0.29) 186.48 (-0.28)
c21104 88.80 (+0.38) 86.61 (+0.37) 85.31 (+0.34) 260.71 (+0.36)
b9544a 64.57 (+0.03) 63.40 (+0.01) 63.71 (-0.02) 191.69 (+0.00)
33834c 62.72 (+0.05) 62.99 (+0.07) 65.20 (+0.08) 190.91 (+0.07)
521667 59.78 (+0.01) 58.79 (-0.00) 60.28 (+0.02) 178.85 (+0.01)
361648 59.39 (+0.03) 58.79 (+0.03) 59.12 (+0.03) 177.30 (+0.03)
fc0629 57.48 57.31 57.58 172.37

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query28]

platform: rds-aurora

revision Q28/1 Q28/2 Q28/3 total_duration
41aa62 280.76 (+0.02) 278.69 (+0.01) 278.73 (+0.02) 838.18 (+0.02)
7b5489 274.51 (-0.11) 274.99 (-0.12) 272.21 (-0.12) 821.71 (-0.11)
a23b07 307.41 (+0.10) 311.00 (+0.12) 309.95 (+0.12) 928.36 (+0.11)
cc2d00 278.57 (+0.05) 277.72 (+0.05) 277.80 (+0.04) 834.09 (+0.05)
ba9df2 264.12 (+0.11) 264.83 (+0.11) 266.21 (+0.14) 795.16 (+0.12)
a8f354 237.24 (+0.06) 239.09 (+0.08) 232.93 (+0.04) 709.27 (+0.06)
7feb0d 224.40 (-0.12) 221.84 (-0.13) 223.88 (-0.11) 670.12 (-0.12)
982fce 254.84 (+0.13) 254.89 (+0.14) 251.91 (+0.12) 761.63 (+0.13)
1f151d 224.67 (+0.01) 223.60 (+0.01) 225.90 (+0.03) 674.16 (+0.02)
ff1a1a 222.79 (-0.17) 221.19 (-0.16) 218.69 (-0.17) 662.66 (-0.17)
b1477b 268.47 (+0.01) 264.90 (+0.01) 264.09 (-0.00) 797.46 (+0.01)
1b947f 265.30 (-0.04) 261.13 (-0.07) 264.97 (-0.06) 791.40 (-0.06)
a21b55 276.14 (-0.04) 281.11 (-0.01) 282.57 (+0.01) 839.83 (-0.01)
4ba950 286.18 (+0.14) 284.46 (+0.11) 280.40 (+0.14) 851.04 (+0.13)
4e359d 249.95 (+0.04) 255.24 (+0.07) 246.76 (+0.02) 751.96 (+0.04)
3837fc 240.19 (+0.08) 239.33 (+0.06) 243.00 (+0.05) 722.52 (+0.07)
edcf4d 222.37 (-0.01) 225.01 (+0.02) 230.66 (+0.03) 678.04 (+0.01)
411c71 224.54 (-0.07) 219.70 (-0.08) 224.30 (-0.06) 668.54 (-0.07)
854348 241.05 (+0.00) 238.70 (-0.01) 238.03 (-0.02) 717.78 (-0.01)
7ba5c2 240.06 (+0.03) 241.21 (+0.03) 241.78 (+0.02) 723.06 (+0.03)
ebea29 233.75 (-0.00) 233.70 (-0.02) 237.02 (+0.00) 704.47 (-0.01)
22c890 234.07 (-0.01) 238.41 (+0.03) 236.08 (+0.04) 708.56 (+0.02)
f0b2e0 236.27 (+0.08) 231.74 (+0.06) 227.74 (+0.05) 695.75 (+0.06)
dec580 219.04 (+0.00) 218.32 (+0.00) 217.10 (+0.01) 654.46 (+0.01)
dec580 218.18 (+0.00) 217.61 (+0.01) 215.28 (-0.01) 651.07 (+0.00)
b1c2a6 217.34 (+0.02) 214.75 (-0.02) 216.80 (-0.00) 648.89 (-0.00)
931094 213.95 (-0.00) 220.21 (+0.02) 217.66 (+0.00) 651.82 (+0.01)
957acb 214.73 (+0.01) 216.52 (+0.02) 217.28 (+0.01) 648.54 (+0.01)
846532 212.89 (-0.01) 212.70 (-0.02) 215.98 (+0.00) 641.58 (-0.01)
d733bc 215.54 (+0.00) 216.43 (+0.02) 215.40 (+0.03) 647.37 (+0.02)
75ffe3 214.93 (+0.01) 213.02 (-0.00) 209.70 (-0.01) 637.66 (-0.00)
75ffe3 213.42 (-0.19) 213.82 (-0.19) 211.36 (-0.21) 638.61 (-0.20)
bf4623 264.77 (-0.02) 262.80 (-0.04) 266.88 (-0.03) 794.45 (-0.03)
b26c83 269.06 (-0.00) 272.40 (+0.02) 274.31 (-0.00) 815.77 (+0.00)
9d714a 269.53 (-0.01) 268.18 (-0.01) 274.93 (+0.02) 812.64 (-0.00)
6efea4 272.42 (+0.03) 270.01 (+0.01) 270.81 (+0.02) 813.24 (+0.02)
4071ff 264.77 (-0.02) 267.62 (+0.00) 266.48 (-0.02) 798.88 (-0.01)
4071ff 269.29 (-0.00) 266.60 (-0.01) 271.99 (-0.01) 807.87 (-0.01)
870ba4 270.18 (+0.03) 268.28 (+0.03) 274.64 (+0.01) 813.10 (+0.02)
f5ca89 262.86 (-0.02) 261.50 (-0.01) 271.06 (+0.04) 795.43 (+0.00)
8bd565 267.67 (-0.00) 263.40 (-0.01) 260.60 (-0.04) 791.67 (-0.02)
dd22c8 268.06 (-0.00) 265.66 (+0.00) 272.32 (+0.01) 806.04 (+0.00)
299db9 268.52 (-0.00) 265.52 (+0.00) 268.86 (+0.03) 802.90 (+0.01)
93f3f4 269.67 (-0.00) 264.58 (-0.02) 261.68 (-0.03) 795.94 (-0.02)
f6e2e0 270.63 (-0.01) 268.79 (-0.03) 270.03 (-0.00) 809.45 (-0.01)
f6e2e0 273.72 (+0.00) 276.55 (+0.01) 270.16 (+0.00) 820.43 (+0.00)
f6e2e0 273.58 (+0.01) 275.06 (+0.01) 269.91 (+0.01) 818.55 (+0.01)
f1d960 270.42 (-0.00) 273.10 (+0.03) 267.91 (-0.00) 811.43 (+0.01)
4a9279 271.52 (+0.01) 266.01 (-0.03) 268.48 (-0.02) 806.00 (-0.01)
2e4bf7 269.36 (-0.03) 273.92 (-0.01) 273.38 (+0.02) 816.67 (-0.01)
ce8fbb 276.65 (-0.01) 277.20 (+0.01) 268.90 (+0.01) 822.75 (+0.00)
ce8fbb 278.45 (+0.03) 274.44 (+0.04) 265.77 (+0.01) 818.67 (+0.03)
ce8fbb 270.76 (-0.02) 263.82 (-0.04) 263.05 (-0.06) 797.63 (-0.04)
d1a0f2 276.38 (+0.08) 276.21 (+0.06) 279.09 (+0.04) 831.69 (+0.06)
ccf92d 256.28 (-0.04) 260.57 (-0.00) 267.96 (+0.02) 784.81 (-0.01)
02b8e0 266.71 (+0.00) 261.20 (-0.01) 261.51 (-0.02) 789.41 (-0.01)
7b9057 265.56 (+0.02) 264.28 (+0.03) 267.12 (+0.01) 796.96 (+0.02)
9cada8 261.19 (-0.03) 257.75 (-0.05) 263.79 (-0.01) 782.74 (-0.03)
9cada8 268.40 (+0.03) 272.69 (+0.02) 267.15 (+0.00) 808.24 (+0.02)
9cada8 261.85 (-0.02) 266.52 (-0.01) 266.45 (-0.01) 794.82 (-0.01)
a60f68 268.47 (+0.04) 268.94 (+0.05) 268.76 (+0.02) 806.17 (+0.03)
d19c52 258.96 (-0.02) 257.33 (-0.02) 263.26 (-0.02) 779.55 (-0.02)
000eb1 263.88 (+0.00) 263.21 (+0.01) 269.11 (+0.03) 796.21 (+0.01)
000eb1 263.58 (-0.01) 260.00 (-0.02) 262.51 (-0.02) 786.09 (-0.02)
f51b48 265.23 (+0.00) 266.48 (+0.02) 269.02 (+0.02) 800.73 (+0.02)
f51b48 264.48 (-0.01) 260.39 (-0.02) 263.96 (-0.00) 788.83 (-0.01)
f51b48 266.14 (+0.04) 267.03 (+0.04) 264.28 (-0.02) 797.46 (+0.02)
9f906f 256.45 (+0.06) 255.88 (+0.06) 268.80 (+0.11) 781.14 (+0.08)
0692ff 241.65 (-0.05) 240.89 (-0.02) 241.90 (-0.02) 724.45 (-0.03)
2caece 253.47 (+0.02) 246.99 (-0.02) 245.71 (+0.01) 746.16 (+0.01)
bc7d3c 248.26 (-0.02) 251.78 (+0.02) 242.20 (-0.02) 742.25 (-0.01)
2153d2 252.64 (+0.02) 247.68 (-0.01) 247.30 (+0.00) 747.62 (+0.00)
2153d2 248.31 (+0.01) 249.19 (-0.00) 246.71 (+0.01) 744.22 (+0.01)
2153d2 245.51 (-0.00) 249.35 (+0.02) 243.77 (-0.00) 738.63 (+0.00)
a1b062 246.36 (+0.01) 245.40 (-0.00) 244.79 (-0.02) 736.55 (-0.00)
1d9d7c 244.34 (+0.01) 246.02 (+0.02) 248.83 (+0.02) 739.18 (+0.02)
3569c1 242.13 (-0.00) 241.40 (-0.03) 243.03 (-0.01) 726.57 (-0.01)
eaff14 243.18 (+0.01) 247.95 (+0.04) 246.30 (+0.01) 737.44 (+0.02)
f383b4 240.22 (-0.02) 237.54 (-0.05) 244.89 (+0.00) 722.66 (-0.02)
f383b4 244.52 (+0.00) 249.62 (+0.02) 243.99 (+0.00) 738.13 (+0.01)
f383b4 244.32 (+0.03) 243.69 (+0.01) 243.63 (+0.04) 731.64 (+0.03)
a4256b 236.26 (-0.03) 240.80 (+0.01) 235.06 (-0.02) 712.12 (-0.01)
371493 244.03 (+0.04) 239.03 (+0.01) 239.35 (+0.01) 722.40 (+0.02)
c5c143 235.09 (-0.03) 237.83 (-0.01) 237.19 (-0.00) 710.11 (-0.01)
58fa4f 241.20 (-0.01) 239.71 (+0.03) 238.04 (+0.01) 718.95 (+0.01)
121d53 243.31 (+0.01) 233.69 (-0.02) 235.62 (-0.01) 712.62 (-0.00)
121d53 240.34 (+0.02) 237.30 (-0.01) 237.91 (+0.00) 715.55 (+0.00)
ec3a3a 235.92 (-0.01) 239.19 (-0.00) 237.31 (-0.01) 712.42 (-0.01)
96e783 239.23 (+0.01) 240.05 (+0.02) 238.96 (+0.02) 718.25 (+0.02)
567b71 237.54 (+0.01) 234.80 (+0.01) 234.80 (+0.00) 707.14 (+0.01)
847fc5 235.86 (-0.00) 231.66 (-0.01) 234.21 (-0.00) 701.74 (-0.00)
5e08b3 236.24 (+0.00) 233.80 (-0.01) 234.30 (-0.00) 704.34 (-0.00)
4d291d 236.18 (+0.01) 236.64 (+0.03) 234.64 (+0.01) 707.46 (+0.02)
4d291d 233.85 (+0.01) 230.01 (-0.01) 231.64 (+0.01) 695.50 (+0.00)
bf63f1 231.90 (-0.00) 231.80 (-0.01) 230.06 (-0.00) 693.76 (-0.00)
0a0958 232.59 (-0.01) 233.51 (+0.01) 230.66 (+0.00) 696.77 (+0.00)
aabca5 234.12 (+0.00) 232.11 (-0.01) 229.62 (-0.01) 695.85 (-0.00)
a4be54 233.99 (+0.01) 233.60 (+0.01) 230.79 (-0.01) 698.39 (+0.01)
a3d7ad 231.37 (+0.01) 230.18 (-0.01) 232.19 (+0.01) 693.75 (+0.00)
a3d7ad 230.09 (-0.02) 232.61 (+0.02) 230.98 (+0.02) 693.68 (+0.01)
8ba169 233.96 (+0.02) 227.88 (+0.01) 227.28 (-0.00) 689.13 (+0.01)
e5cc2f 230.46 (+0.02) 225.51 (-0.03) 227.98 (-0.00) 683.96 (-0.00)
c6b56d 226.56 (-0.02) 232.23 (+0.02) 228.38 (+0.01) 687.18 (+0.00)
e067cd 230.48 (-0.01) 227.58 (-0.02) 226.01 (-0.03) 684.07 (-0.02)
bce423 231.87 (+0.02) 232.79 (+0.01) 231.90 (+0.01) 696.56 (+0.01)
bce423 228.37 (-0.00) 230.82 (+0.01) 229.57 (+0.01) 688.77 (+0.00)
c28bfd 229.38 (+0.00) 229.15 (-0.00) 227.24 (-0.01) 685.78 (-0.00)
95bf19 229.07 (+0.01) 229.80 (-0.00) 230.17 (-0.01) 689.04 (-0.00)
95bf19 227.56 (-0.01) 230.78 (-0.00) 232.90 (+0.00) 691.25 (-0.00)
080752 230.48 (+0.03) 231.43 (-0.01) 232.18 (+0.02) 694.09 (+0.01)
23d5e2 224.57 (-0.02) 233.74 (+0.00) 228.58 (-0.02) 686.89 (-0.01)
23d5e2 228.46 (+0.00) 232.87 (+0.00) 232.42 (-0.01) 693.76 (-0.00)
8b710b 227.63 (-0.01) 232.50 (-0.01) 233.69 (+0.00) 693.82 (-0.01)
8c6e60 229.65 (+0.01) 235.03 (+0.00) 232.72 (+0.03) 697.39 (+0.02)
10dae7 226.75 (+0.00) 234.36 (+0.01) 225.00 (-0.03) 686.11 (-0.01)
4c4d3d 226.00 (-0.01) 233.17 (-0.00) 233.14 (-0.01) 692.32 (-0.01)
9f94d0 229.19 (+0.02) 234.31 (+0.02) 236.08 (+0.02) 699.59 (+0.02)
9f94d0 225.32 (+0.07) 229.60 (+0.03) 230.77 (+0.06) 685.68 (+0.06)
9f94d0 209.76 (+0.01) 222.12 (+0.01) 216.98 (+0.02) 648.86 (+0.01)
c700c7 208.29 (-0.04) 220.00 (-0.02) 213.72 (-0.03) 642.01 (-0.03)
42c6dd 216.33 (+0.03) 224.05 (+0.02) 220.70 (+0.03) 661.08 (+0.03)
f6bf7b 210.37 (+0.00) 219.23 (+0.02) 213.85 (-0.02) 643.45 (-0.00)
1137b5 210.28 (+0.00) 215.18 (-0.03) 218.23 (-0.00) 643.70 (-0.01)
1468c6 210.28 (-0.00) 222.91 (+0.03) 218.26 (+0.02) 651.45 (+0.02)
1468c6 210.73 (+0.02) 216.43 (-0.02) 213.56 (-0.01) 640.73 (-0.00)
c01f92 206.50 (-0.02) 220.20 (+0.02) 214.87 (-0.00) 641.57 (-0.00)
7ff591 210.55 (+0.03) 215.53 (+0.00) 215.89 (+0.01) 641.97 (+0.01)
5d4774 205.06 (-0.05) 214.72 (-0.01) 214.46 (-0.01) 634.24 (-0.02)
56d8c2 215.15 (-0.01) 217.72 (+0.01) 215.60 (-0.02) 648.48 (-0.00)
12e6f4 216.73 (-0.01) 215.84 (-0.01) 218.99 (-0.01) 651.56 (-0.01)
12e6f4 217.87 (+0.00) 217.12 (+0.00) 221.40 (+0.01) 656.40 (+0.01)
61194a 217.54 (-0.13) 216.94 (-0.13) 218.38 (-0.12) 652.87 (-0.13)
70ce01 250.94 (+0.05) 250.61 (+0.05) 247.81 (+0.04) 749.37 (+0.04)
c04c20 240.00 (+0.01) 239.22 (+0.00) 238.80 (-0.00) 718.01 (+0.00)
827ee1 238.15 (-0.01) 239.22 (-0.01) 239.49 (-0.01) 716.86 (-0.01)
22ae67 240.32 (-0.01) 241.81 (-0.01) 241.18 (-0.02) 723.31 (-0.01)
0f4458 242.41 (-0.01) 243.90 (+0.01) 245.64 (+0.02) 731.95 (+0.01)
0f4458 244.68 (+0.03) 240.91 (-0.02) 240.10 (-0.02) 725.70 (-0.00)
0f4458 237.78 (-0.03) 246.76 (+0.03) 244.04 (+0.01) 728.58 (+0.00)
b8a566 244.37 (-0.01) 240.70 (-0.03) 241.40 (-0.02) 726.48 (-0.02)
b8a566 247.47 (+0.04) 247.88 (+0.04) 247.21 (+0.03) 742.56 (+0.03)
9747e9 238.90 (+0.02) 239.49 (+0.01) 239.99 (+0.00) 718.37 (+0.01)
b50e07 235.29 (-0.04) 237.68 (-0.01) 239.11 (-0.01) 712.08 (-0.02)
6a57d5 244.51 (+0.02) 240.87 (+0.03) 242.35 (+0.02) 727.73 (+0.02)
c0480f 240.39 (+0.02) 233.68 (-0.02) 236.53 (+0.00) 710.61 (-0.00)
4f443c 236.30 (-0.03) 239.18 (+0.00) 236.21 (+0.00) 711.70 (-0.01)
4f443c 243.19 (-0.01) 238.44 (-0.00) 235.69 (-0.01) 717.32 (-0.01)
788823 245.04 (-0.35) 238.47 (-0.36) 237.78 (-0.36) 721.29 (-0.36)
c21104 375.20 (+0.53) 369.72 (+0.52) 374.00 (+0.56) 1118.92 (+0.54)
b9544a 245.73 (+0.01) 243.09 (-0.01) 239.37 (-0.02) 728.19 (-0.01)
33834c 244.13 (+0.06) 245.62 (+0.06) 244.68 (+0.04) 734.43 (+0.05)
521667 230.51 (+0.01) 232.68 (+0.02) 236.30 (+0.03) 699.48 (+0.02)
361648 227.88 (+0.01) 228.01 (-0.02) 229.86 (+0.01) 685.76 (-0.00)
fc0629 225.98 231.75 228.38 686.11

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query29]

platform: rds-aurora

revision Q29/1 Q29/2 Q29/3 total_duration
41aa62 116.85 (+0.04) 122.20 (+0.07) 120.09 (+0.02) 359.15 (+0.04)
7b5489 112.78 (-0.13) 114.18 (-0.11) 117.41 (-0.11) 344.37 (-0.12)
a23b07 129.83 (+0.16) 128.70 (+0.08) 131.73 (+0.12) 390.26 (+0.12)
cc2d00 112.08 (+0.04) 118.72 (+0.08) 117.40 (+0.08) 348.20 (+0.07)
ba9df2 108.23 (+0.11) 110.00 (+0.17) 108.58 (+0.17) 326.81 (+0.15)
a8f354 97.36 (+0.11) 93.88 (+0.05) 93.09 (+0.04) 284.32 (+0.07)
7feb0d 87.73 (-0.14) 89.37 (-0.12) 89.22 (-0.15) 266.33 (-0.13)
982fce 101.65 (+0.13) 101.51 (+0.10) 104.41 (+0.16) 307.57 (+0.13)
1f151d 89.89 (-0.00) 92.49 (+0.04) 90.20 (+0.01) 272.57 (+0.02)
ff1a1a 90.32 (-0.15) 89.00 (-0.17) 89.10 (-0.17) 268.43 (-0.16)
b1477b 105.86 (-0.02) 107.48 (+0.01) 106.74 (-0.02) 320.08 (-0.01)
1b947f 108.22 (-0.07) 106.21 (-0.11) 109.18 (-0.07) 323.61 (-0.08)
a21b55 116.44 (+0.04) 118.68 (+0.06) 117.51 (+0.04) 352.63 (+0.04)
4ba950 111.76 (+0.09) 112.41 (+0.11) 113.38 (+0.14) 337.56 (+0.11)
4e359d 102.67 (+0.08) 101.49 (+0.03) 99.81 (+0.03) 303.97 (+0.04)
3837fc 95.33 (+0.01) 98.59 (+0.03) 97.09 (+0.08) 291.01 (+0.04)
edcf4d 94.76 (+0.03) 95.28 (+0.03) 90.09 (-0.00) 280.14 (+0.02)
411c71 91.65 (-0.05) 92.09 (-0.06) 90.10 (-0.11) 273.84 (-0.08)
854348 96.63 (-0.02) 98.48 (-0.05) 101.61 (+0.02) 296.72 (-0.02)
7ba5c2 98.86 (+0.02) 103.79 (+0.07) 99.30 (+0.03) 301.95 (+0.04)
ebea29 96.46 (-0.06) 97.13 (+0.00) 96.47 (-0.01) 290.07 (-0.02)
22c890 102.10 (+0.08) 96.92 (+0.02) 97.68 (+0.02) 296.70 (+0.04)
f0b2e0 94.54 (+0.10) 94.63 (+0.10) 95.78 (+0.10) 284.95 (+0.10)
dec580 86.32 (-0.01) 86.01 (+0.00) 87.40 (+0.01) 259.74 (+0.00)
dec580 86.84 (-0.03) 85.91 (-0.03) 86.32 (-0.03) 259.06 (-0.03)
b1c2a6 89.62 (+0.06) 88.41 (+0.04) 89.28 (+0.03) 267.31 (+0.04)
931094 84.82 (-0.02) 84.62 (-0.02) 86.87 (-0.01) 256.32 (-0.01)
957acb 86.65 (-0.01) 85.98 (-0.04) 87.57 (+0.02) 260.20 (-0.01)
846532 87.66 (+0.02) 89.80 (+0.02) 86.08 (+0.01) 263.54 (+0.02)
d733bc 85.65 (+0.02) 88.20 (-0.03) 85.61 (-0.00) 259.45 (-0.00)
75ffe3 83.89 (-0.01) 90.80 (+0.05) 85.92 (-0.02) 260.61 (+0.01)
75ffe3 84.64 (-0.17) 86.70 (-0.23) 87.31 (-0.18) 258.65 (-0.19)
bf4623 101.43 (-0.09) 113.19 (+0.04) 106.00 (-0.01) 320.62 (-0.02)
b26c83 111.22 (+0.03) 108.79 (+0.03) 107.11 (-0.02) 327.13 (+0.01)
9d714a 107.84 (-0.00) 105.30 (-0.05) 109.57 (+0.03) 322.72 (-0.01)
6efea4 108.02 (+0.03) 110.79 (+0.07) 105.98 (-0.04) 324.79 (+0.02)
4071ff 105.07 (-0.00) 103.60 (-0.08) 109.99 (+0.04) 318.67 (-0.01)
4071ff 105.42 (-0.01) 112.10 (+0.04) 105.60 (-0.03) 323.12 (+0.00)
870ba4 106.38 (-0.04) 107.39 (-0.02) 108.50 (+0.01) 322.27 (-0.02)
f5ca89 110.72 (+0.05) 109.89 (+0.06) 107.60 (+0.02) 328.20 (+0.05)
8bd565 105.60 (+0.02) 103.30 (-0.05) 105.13 (+0.00) 314.04 (-0.01)
dd22c8 103.54 (-0.07) 108.79 (-0.03) 104.79 (-0.03) 317.12 (-0.04)
299db9 110.77 (+0.01) 112.08 (+0.05) 107.62 (+0.01) 330.47 (+0.02)
93f3f4 109.30 (+0.00) 107.13 (+0.03) 106.18 (-0.03) 322.61 (-0.00)
f6e2e0 109.03 (+0.02) 104.30 (-0.01) 109.82 (+0.02) 323.15 (+0.01)
f6e2e0 107.08 (-0.01) 105.66 (-0.01) 107.61 (-0.05) 320.35 (-0.02)
f6e2e0 108.37 (-0.03) 106.78 (+0.02) 112.90 (+0.03) 328.05 (+0.01)
f1d960 111.42 (+0.03) 104.80 (-0.03) 109.39 (-0.02) 325.62 (-0.01)
4a9279 108.66 (-0.02) 107.58 (+0.02) 112.03 (+0.02) 328.27 (+0.01)
2e4bf7 111.16 (+0.02) 105.22 (-0.02) 109.50 (+0.01) 325.89 (+0.01)
ce8fbb 108.65 (+0.05) 107.39 (+0.01) 108.21 (+0.00) 324.26 (+0.02)
ce8fbb 103.53 (+0.00) 105.97 (-0.02) 107.83 (+0.04) 317.33 (+0.01)
ce8fbb 103.23 (-0.07) 107.81 (-0.03) 104.00 (-0.07) 315.04 (-0.06)
d1a0f2 110.86 (+0.04) 110.82 (+0.07) 111.71 (+0.08) 333.39 (+0.06)
ccf92d 106.88 (+0.03) 104.01 (-0.02) 103.13 (+0.00) 314.01 (+0.00)
02b8e0 104.22 (-0.03) 106.01 (+0.02) 102.97 (-0.03) 313.21 (-0.01)
7b9057 107.60 (+0.06) 104.30 (-0.01) 105.62 (+0.05) 317.53 (+0.03)
9cada8 101.54 (-0.08) 105.02 (-0.01) 100.99 (-0.04) 307.55 (-0.04)
9cada8 110.10 (+0.03) 106.30 (+0.03) 105.52 (-0.00) 321.92 (+0.02)
9cada8 107.19 (+0.02) 103.29 (-0.03) 105.60 (+0.05) 316.09 (+0.01)
a60f68 105.55 (-0.03) 106.29 (+0.04) 100.40 (-0.03) 312.24 (-0.01)
d19c52 108.32 (-0.00) 102.30 (-0.03) 103.60 (-0.08) 314.22 (-0.04)
000eb1 108.63 (+0.03) 104.98 (-0.01) 112.09 (+0.08) 325.70 (+0.03)
000eb1 105.63 (-0.03) 106.51 (-0.03) 103.50 (-0.00) 315.64 (-0.02)
f51b48 108.38 (-0.00) 110.20 (+0.03) 103.61 (-0.05) 322.18 (-0.01)
f51b48 108.64 (+0.05) 107.32 (+0.02) 109.49 (+0.07) 325.46 (+0.04)
f51b48 103.86 (-0.06) 105.72 (-0.00) 102.48 (-0.08) 312.07 (-0.05)
9f906f 110.32 (+0.16) 105.99 (+0.07) 111.89 (+0.15) 328.20 (+0.12)
0692ff 95.39 (-0.04) 99.09 (+0.00) 97.39 (+0.03) 291.88 (-0.01)
2caece 99.46 (+0.05) 98.97 (+0.06) 95.00 (-0.01) 293.43 (+0.03)
bc7d3c 94.46 (-0.06) 93.58 (-0.06) 95.99 (-0.06) 284.03 (-0.06)
2153d2 100.01 (+0.00) 99.59 (-0.01) 101.81 (+0.06) 301.42 (+0.02)
2153d2 99.74 (-0.00) 100.50 (-0.01) 95.71 (-0.01) 295.95 (-0.01)
2153d2 100.04 (+0.02) 101.97 (+0.05) 96.91 (-0.03) 298.91 (+0.01)
a1b062 98.06 (-0.01) 97.27 (-0.03) 99.42 (+0.01) 294.76 (-0.01)
1d9d7c 99.10 (+0.00) 100.09 (+0.05) 98.21 (+0.02) 297.40 (+0.02)
3569c1 98.61 (+0.02) 95.60 (-0.01) 96.08 (-0.04) 290.29 (-0.01)
eaff14 97.04 (-0.03) 96.91 (-0.02) 99.69 (+0.02) 293.64 (-0.01)
f383b4 99.93 (+0.05) 98.80 (+0.01) 98.13 (+0.03) 296.86 (+0.03)
f383b4 95.04 (-0.02) 97.72 (-0.00) 95.31 (-0.02) 288.07 (-0.01)
f383b4 96.73 (+0.03) 97.97 (+0.03) 97.42 (+0.05) 292.13 (+0.04)
a4256b 93.76 (-0.01) 95.40 (-0.04) 92.60 (-0.04) 281.75 (-0.03)
371493 94.95 (+0.03) 99.62 (+0.07) 96.30 (+0.01) 290.87 (+0.04)
c5c143 92.43 (-0.01) 92.70 (-0.03) 95.02 (+0.01) 280.15 (-0.01)
58fa4f 93.54 (-0.01) 95.99 (+0.03) 94.38 (-0.02) 283.92 (-0.00)
121d53 94.03 (-0.04) 93.41 (-0.03) 96.69 (+0.01) 284.13 (-0.02)
121d53 97.81 (+0.00) 96.03 (+0.01) 95.28 (-0.02) 289.11 (-0.00)
ec3a3a 97.39 (+0.05) 95.11 (-0.01) 97.50 (+0.02) 289.99 (+0.02)
96e783 93.16 (-0.02) 96.50 (+0.05) 95.28 (+0.02) 284.94 (+0.01)
567b71 95.43 (+0.02) 92.19 (+0.01) 93.81 (+0.02) 281.43 (+0.01)
847fc5 93.54 (-0.00) 91.60 (-0.02) 92.29 (-0.02) 277.44 (-0.02)
5e08b3 93.93 (+0.03) 93.88 (+0.02) 94.19 (+0.01) 282.01 (+0.02)
4d291d 91.55 (+0.00) 91.81 (+0.02) 93.51 (+0.02) 276.87 (+0.01)
4d291d 91.19 (-0.01) 90.19 (-0.03) 92.04 (+0.02) 273.42 (-0.01)
bf63f1 92.46 (+0.03) 93.21 (+0.04) 90.09 (-0.03) 275.76 (+0.01)
0a0958 89.52 (-0.01) 89.62 (-0.01) 92.99 (-0.00) 272.14 (-0.01)
aabca5 90.50 (-0.02) 90.08 (+0.00) 93.28 (+0.01) 273.86 (-0.00)
a4be54 91.96 (+0.01) 89.87 (-0.04) 92.20 (+0.03) 274.03 (-0.00)
a3d7ad 91.19 (+0.00) 93.30 (+0.03) 89.81 (-0.01) 274.30 (+0.01)
a3d7ad 91.13 (+0.01) 90.80 (-0.00) 90.48 (+0.01) 272.41 (+0.01)
8ba169 90.36 (-0.00) 90.91 (-0.02) 89.60 (-0.02) 270.87 (-0.01)
e5cc2f 90.76 (+0.02) 92.99 (+0.06) 91.20 (+0.00) 274.94 (+0.03)
c6b56d 89.18 (-0.02) 87.59 (-0.01) 90.91 (+0.03) 267.69 (+0.00)
e067cd 90.96 (+0.01) 88.73 (-0.03) 87.89 (-0.01) 267.59 (-0.01)
bce423 89.64 (-0.02) 91.01 (-0.01) 88.99 (-0.01) 269.64 (-0.02)
bce423 91.45 (+0.02) 92.01 (+0.04) 90.33 (+0.00) 273.78 (+0.02)
c28bfd 89.24 (-0.03) 88.49 (-0.02) 89.90 (-0.00) 267.63 (-0.02)
95bf19 91.98 (-0.00) 90.69 (+0.04) 90.19 (+0.07) 272.86 (+0.04)
95bf19 92.37 (-0.01) 87.31 (+0.04) 83.90 (-0.01) 263.59 (+0.00)
080752 93.73 (+0.04) 83.79 (-0.07) 85.01 (-0.10) 262.53 (-0.04)
23d5e2 90.22 (+0.02) 90.49 (+0.03) 94.01 (+0.05) 274.72 (+0.04)
23d5e2 88.11 (-0.02) 87.60 (+0.06) 89.31 (+0.04) 265.03 (+0.02)
8b710b 89.97 (-0.03) 82.91 (-0.00) 85.69 (+0.05) 258.57 (+0.00)
8c6e60 93.20 (-0.00) 83.29 (-0.02) 81.83 (-0.05) 258.33 (-0.02)
10dae7 93.47 (+0.01) 84.58 (-0.02) 86.41 (+0.02) 264.46 (+0.00)
4c4d3d 92.81 (+0.02) 86.62 (-0.01) 84.80 (+0.00) 264.23 (+0.00)
9f94d0 91.26 (+0.01) 87.57 (+0.04) 84.72 (+0.02) 263.55 (+0.03)
9f94d0 90.17 (+0.03) 84.00 (+0.10) 82.78 (+0.04) 256.95 (+0.06)
9f94d0 87.58 (+0.03) 76.48 (+0.00) 79.31 (+0.02) 243.37 (+0.02)
c700c7 85.16 (-0.04) 76.29 (-0.03) 78.11 (-0.02) 239.55 (-0.03)
42c6dd 88.45 (+0.01) 78.78 (+0.03) 79.41 (+0.02) 246.64 (+0.02)
f6bf7b 87.37 (+0.01) 76.60 (-0.02) 77.50 (-0.01) 241.47 (-0.00)
1137b5 86.36 (-0.01) 77.80 (-0.01) 78.06 (-0.01) 242.23 (-0.01)
1468c6 87.66 (+0.01) 78.91 (-0.01) 79.01 (+0.02) 245.57 (+0.01)
1468c6 86.38 (-0.02) 79.89 (+0.04) 77.70 (+0.00) 243.98 (+0.00)
c01f92 88.38 (+0.04) 77.01 (-0.01) 77.69 (+0.01) 243.08 (+0.01)
7ff591 84.93 (-0.01) 77.49 (-0.05) 77.10 (+0.00) 239.52 (-0.02)
5d4774 86.15 (-0.01) 81.38 (-0.06) 76.81 (-0.13) 244.35 (-0.07)
56d8c2 87.15 (+0.03) 86.80 (-0.02) 88.52 (+0.02) 262.47 (+0.01)
12e6f4 85.01 (-0.03) 88.72 (-0.01) 86.98 (-0.00) 260.72 (-0.01)
12e6f4 87.94 (+0.02) 89.68 (+0.03) 87.00 (-0.01) 264.61 (+0.01)
61194a 85.93 (-0.15) 87.20 (-0.13) 87.69 (-0.10) 260.83 (-0.13)
70ce01 101.45 (+0.03) 100.79 (+0.05) 97.00 (+0.01) 299.25 (+0.03)
c04c20 98.72 (+0.04) 96.20 (-0.05) 96.40 (+0.02) 291.32 (+0.00)
827ee1 94.95 (-0.00) 100.80 (+0.02) 94.61 (-0.04) 290.36 (-0.01)
22ae67 95.22 (-0.00) 98.48 (+0.00) 98.41 (-0.02) 292.12 (-0.01)
0f4458 95.32 (-0.02) 98.30 (+0.02) 99.99 (+0.03) 293.62 (+0.01)
0f4458 97.44 (-0.00) 96.39 (-0.03) 97.18 (-0.01) 291.01 (-0.01)
0f4458 97.72 (+0.01) 99.68 (+0.05) 97.90 (+0.01) 295.30 (+0.02)
b8a566 97.04 (-0.03) 95.19 (-0.03) 97.01 (-0.03) 289.24 (-0.03)
b8a566 100.36 (+0.05) 97.68 (+0.02) 100.01 (+0.02) 298.04 (+0.03)
9747e9 95.18 (+0.01) 95.38 (-0.01) 97.89 (+0.02) 288.45 (+0.01)
b50e07 94.36 (-0.05) 96.09 (-0.01) 96.10 (-0.05) 286.56 (-0.04)
6a57d5 99.75 (+0.06) 97.42 (+0.05) 100.98 (+0.10) 298.16 (+0.07)
c0480f 94.18 (-0.02) 92.88 (-0.03) 91.41 (-0.04) 278.47 (-0.03)
4f443c 95.82 (+0.01) 95.98 (+0.00) 95.42 (+0.01) 287.22 (+0.01)
4f443c 94.73 (-0.02) 95.52 (-0.00) 94.38 (-0.02) 284.62 (-0.01)
788823 96.83 (-0.25) 95.67 (-0.26) 96.01 (-0.25) 288.52 (-0.25)
c21104 129.42 (+0.36) 129.78 (+0.39) 127.89 (+0.34) 387.10 (+0.36)
b9544a 95.19 (-0.00) 93.57 (-0.04) 95.32 (-0.02) 284.08 (-0.02)
33834c 95.36 (+0.04) 97.61 (+0.07) 97.59 (+0.03) 290.56 (+0.05)
521667 91.65 (-0.01) 91.10 (-0.04) 94.42 (+0.00) 277.17 (-0.01)
361648 92.13 (+0.03) 95.08 (+0.05) 94.11 (+0.01) 281.32 (+0.03)
fc0629 89.49 90.88 93.62 273.99

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query30]

platform: rds-aurora

revision Q30/1 Q30/2 Q30/3 total_duration
41aa62 73.57 (+0.02) 76.38 (-0.01) 77.29 (+0.02) 227.24 (+0.01)
7b5489 72.37 (-0.16) 77.19 (-0.05) 75.60 (-0.12) 225.16 (-0.11)
a23b07 85.92 (+0.10) 81.59 (+0.10) 85.52 (+0.12) 253.03 (+0.11)
cc2d00 78.24 (+0.13) 74.10 (+0.05) 76.10 (+0.09) 228.44 (+0.09)
ba9df2 69.28 (+0.19) 70.57 (+0.18) 69.83 (+0.18) 209.68 (+0.18)
a8f354 58.35 (+0.06) 60.01 (+0.08) 59.02 (+0.07) 177.37 (+0.07)
7feb0d 54.93 (-0.10) 55.59 (-0.08) 55.20 (-0.10) 165.73 (-0.09)
982fce 60.83 (+0.12) 60.39 (+0.06) 61.14 (+0.06) 182.35 (+0.08)
1f151d 54.45 (-0.00) 56.72 (+0.08) 57.49 (+0.09) 168.66 (+0.06)
ff1a1a 54.47 (-0.16) 52.39 (-0.18) 52.92 (-0.16) 159.78 (-0.17)
b1477b 64.64 (-0.04) 63.79 (-0.02) 63.09 (-0.03) 191.53 (-0.03)
1b947f 67.01 (-0.02) 65.05 (-0.12) 64.90 (-0.09) 196.96 (-0.08)
a21b55 68.40 (-0.05) 73.57 (+0.02) 71.00 (-0.01) 212.98 (-0.01)
4ba950 72.16 (+0.19) 71.81 (+0.20) 71.59 (+0.19) 215.56 (+0.19)
4e359d 60.74 (-0.04) 59.91 (-0.02) 59.99 (-0.05) 180.64 (-0.04)
3837fc 63.46 (+0.13) 61.09 (+0.08) 63.08 (+0.10) 187.63 (+0.11)
edcf4d 55.94 (+0.07) 56.33 (+0.00) 57.20 (-0.00) 169.48 (+0.02)
411c71 52.16 (-0.11) 56.12 (-0.09) 57.31 (-0.06) 165.60 (-0.09)
854348 58.67 (-0.03) 61.57 (+0.07) 61.10 (+0.02) 181.34 (+0.02)
7ba5c2 60.34 (-0.01) 57.40 (-0.04) 59.81 (+0.00) 177.55 (-0.02)
ebea29 61.22 (+0.02) 59.59 (+0.02) 59.57 (-0.01) 180.38 (+0.01)
22c890 60.17 (+0.05) 58.45 (+0.03) 60.45 (+0.05) 179.08 (+0.04)
f0b2e0 57.31 (+0.08) 56.53 (+0.05) 57.75 (+0.06) 171.60 (+0.06)
dec580 53.04 (+0.06) 53.83 (+0.03) 54.28 (+0.05) 161.15 (+0.04)
dec580 50.24 (-0.03) 52.41 (-0.00) 51.64 (+0.01) 154.28 (-0.01)
b1c2a6 51.74 (-0.01) 52.67 (+0.01) 51.20 (-0.02) 155.61 (-0.01)
931094 52.33 (-0.01) 52.10 (-0.01) 52.39 (+0.02) 156.82 (-0.00)
957acb 53.05 (-0.01) 52.52 (+0.00) 51.57 (-0.02) 157.13 (-0.01)
846532 53.82 (+0.04) 52.43 (+0.03) 52.57 (+0.01) 158.82 (+0.03)
d733bc 51.55 (-0.04) 51.06 (-0.05) 52.01 (-0.02) 154.61 (-0.03)
75ffe3 53.57 (+0.05) 53.48 (+0.03) 52.93 (+0.02) 159.97 (+0.04)
75ffe3 50.80 (-0.23) 51.68 (-0.21) 51.83 (-0.20) 154.31 (-0.21)
bf4623 65.57 (-0.04) 65.83 (+0.01) 64.78 (+0.00) 196.19 (-0.01)
b26c83 68.62 (+0.04) 65.03 (-0.03) 64.68 (-0.05) 198.33 (-0.01)
9d714a 65.77 (-0.07) 67.21 (-0.01) 67.79 (+0.01) 200.77 (-0.02)
6efea4 70.37 (+0.10) 67.89 (+0.08) 66.89 (+0.01) 205.15 (+0.06)
4071ff 64.17 (+0.00) 63.01 (-0.04) 66.22 (+0.00) 193.40 (-0.01)
4071ff 64.00 (-0.01) 65.51 (+0.04) 65.91 (-0.00) 195.42 (+0.01)
870ba4 64.55 (+0.01) 62.97 (-0.03) 65.92 (-0.04) 193.44 (-0.02)
f5ca89 63.88 (-0.03) 64.62 (-0.02) 68.77 (+0.09) 197.27 (+0.01)
8bd565 65.73 (+0.01) 65.71 (-0.01) 63.29 (-0.05) 194.73 (-0.01)
dd22c8 64.84 (-0.03) 66.38 (-0.03) 66.35 (+0.00) 197.56 (-0.02)
299db9 66.71 (-0.03) 68.43 (+0.00) 66.21 (+0.02) 201.35 (-0.00)
93f3f4 68.64 (+0.03) 68.41 (+0.01) 64.89 (-0.02) 201.94 (+0.01)
f6e2e0 66.54 (-0.00) 67.79 (+0.04) 66.51 (+0.02) 200.84 (+0.02)
f6e2e0 66.81 (+0.02) 65.10 (-0.01) 65.36 (+0.01) 197.26 (+0.01)
f6e2e0 65.47 (-0.00) 65.91 (-0.02) 64.48 (-0.04) 195.86 (-0.02)
f1d960 65.60 (-0.05) 67.30 (-0.01) 67.52 (+0.01) 200.42 (-0.02)
4a9279 69.04 (+0.00) 68.28 (-0.04) 67.14 (+0.00) 204.46 (-0.01)
2e4bf7 68.77 (-0.01) 70.85 (+0.08) 66.82 (+0.04) 206.44 (+0.04)
ce8fbb 69.34 (+0.01) 65.40 (+0.03) 64.37 (-0.06) 199.11 (-0.00)
ce8fbb 68.43 (+0.03) 63.25 (-0.07) 68.43 (+0.09) 200.10 (+0.01)
ce8fbb 66.65 (-0.02) 67.82 (+0.04) 62.86 (-0.03) 197.34 (-0.00)
d1a0f2 68.19 (+0.02) 65.21 (+0.01) 64.59 (+0.02) 198.00 (+0.02)
ccf92d 66.87 (-0.01) 64.26 (-0.01) 63.23 (-0.07) 194.36 (-0.03)
02b8e0 67.55 (+0.02) 64.74 (-0.02) 68.01 (+0.06) 200.30 (+0.02)
7b9057 66.01 (+0.03) 66.34 (+0.05) 64.21 (+0.01) 196.55 (+0.03)
9cada8 64.15 (-0.02) 63.43 (-0.06) 63.37 (-0.01) 190.96 (-0.03)
9cada8 65.27 (+0.03) 67.43 (+0.04) 63.69 (+0.01) 196.39 (+0.03)
9cada8 63.22 (-0.03) 64.76 (-0.02) 63.08 (-0.02) 191.06 (-0.02)
a60f68 65.20 (+0.02) 65.82 (+0.04) 64.38 (+0.02) 195.40 (+0.02)
d19c52 64.19 (+0.00) 63.56 (-0.11) 63.40 (-0.06) 191.16 (-0.06)
000eb1 63.93 (-0.06) 71.30 (+0.06) 67.11 (-0.02) 202.34 (-0.01)
000eb1 68.34 (+0.10) 67.32 (+0.01) 68.47 (+0.06) 204.13 (+0.06)
f51b48 62.30 (-0.04) 66.49 (+0.01) 64.57 (-0.05) 193.37 (-0.02)
f51b48 64.60 (+0.04) 65.60 (+0.04) 67.78 (+0.12) 197.99 (+0.07)
f51b48 61.97 (-0.06) 63.18 (-0.03) 60.53 (-0.04) 185.67 (-0.04)
9f906f 65.64 (+0.12) 65.00 (+0.09) 63.25 (+0.06) 193.89 (+0.09)
0692ff 58.62 (-0.06) 59.41 (-0.02) 59.43 (-0.00) 177.46 (-0.03)
2caece 62.29 (+0.10) 60.45 (+0.03) 59.50 (-0.01) 182.25 (+0.04)
bc7d3c 56.54 (-0.11) 58.59 (-0.04) 59.98 (-0.02) 175.11 (-0.06)
2153d2 63.65 (+0.08) 61.20 (-0.01) 61.12 (-0.01) 185.98 (+0.02)
2153d2 59.18 (-0.05) 61.78 (-0.00) 61.48 (-0.00) 182.44 (-0.02)
2153d2 62.03 (+0.04) 61.80 (+0.04) 61.64 (+0.09) 185.47 (+0.06)
a1b062 59.51 (-0.02) 59.28 (-0.01) 56.53 (-0.04) 175.32 (-0.02)
1d9d7c 60.49 (+0.01) 59.88 (-0.00) 58.98 (+0.01) 179.35 (+0.01)
3569c1 59.91 (+0.01) 59.93 (+0.03) 58.58 (-0.03) 178.43 (+0.00)
eaff14 59.55 (+0.00) 58.31 (-0.04) 60.38 (-0.00) 178.24 (-0.01)
f383b4 59.26 (+0.09) 60.76 (+0.07) 60.39 (+0.01) 180.41 (+0.05)
f383b4 54.56 (-0.06) 56.82 (-0.02) 59.90 (+0.04) 171.29 (-0.01)
f383b4 58.09 (+0.02) 58.10 (+0.00) 57.57 (-0.02) 173.77 (+0.00)
a4256b 56.69 (-0.04) 58.06 (-0.05) 58.81 (-0.01) 173.56 (-0.04)
371493 59.25 (+0.06) 61.27 (+0.07) 59.61 (+0.05) 180.14 (+0.06)
c5c143 56.05 (-0.03) 57.53 (-0.01) 56.97 (-0.06) 170.54 (-0.04)
58fa4f 57.57 (-0.01) 58.29 (+0.03) 60.92 (+0.08) 176.78 (+0.03)
121d53 58.22 (-0.02) 56.54 (-0.05) 56.42 (-0.05) 171.18 (-0.04)
121d53 59.58 (-0.03) 59.51 (+0.02) 59.68 (+0.04) 178.77 (+0.01)
ec3a3a 61.58 (+0.07) 58.28 (+0.01) 57.12 (-0.03) 176.98 (+0.02)
96e783 57.46 (+0.01) 57.96 (+0.01) 58.86 (+0.04) 174.28 (+0.02)
567b71 56.96 (-0.03) 57.66 (-0.03) 56.73 (-0.04) 171.35 (-0.03)
847fc5 58.44 (+0.01) 59.41 (+0.06) 59.18 (+0.05) 177.04 (+0.04)
5e08b3 57.86 (+0.03) 56.20 (-0.01) 56.30 (+0.01) 170.37 (+0.01)
4d291d 56.37 (+0.00) 56.61 (+0.04) 55.55 (+0.01) 168.53 (+0.02)
4d291d 56.23 (+0.05) 54.64 (-0.04) 54.90 (-0.04) 165.77 (-0.01)
bf63f1 53.69 (-0.01) 56.79 (+0.05) 57.45 (+0.05) 167.93 (+0.03)
0a0958 54.14 (-0.06) 53.85 (-0.05) 54.54 (-0.02) 162.54 (-0.04)
aabca5 57.88 (+0.06) 56.67 (+0.02) 55.50 (-0.01) 170.05 (+0.02)
a4be54 54.75 (-0.01) 55.67 (-0.02) 55.92 (-0.02) 166.35 (-0.02)
a3d7ad 55.44 (-0.03) 56.52 (+0.03) 57.30 (+0.06) 169.27 (+0.02)
a3d7ad 57.08 (+0.05) 54.81 (-0.01) 54.28 (-0.02) 166.17 (+0.00)
8ba169 54.47 (-0.02) 55.31 (-0.02) 55.60 (-0.03) 165.37 (-0.02)
e5cc2f 55.57 (+0.06) 56.34 (+0.02) 57.50 (+0.06) 169.41 (+0.05)
c6b56d 52.52 (-0.02) 55.23 (-0.00) 54.26 (+0.00) 162.02 (-0.01)
e067cd 53.56 (+0.02) 55.43 (+0.00) 54.06 (-0.02) 163.06 (+0.00)
bce423 52.65 (-0.03) 55.37 (-0.02) 55.02 (-0.03) 163.04 (-0.03)
bce423 54.47 (-0.00) 56.74 (+0.03) 57.00 (+0.04) 168.22 (+0.02)
c28bfd 54.48 (-0.03) 54.98 (-0.04) 55.05 (-0.00) 164.51 (-0.02)
95bf19 56.38 (+0.23) 57.04 (+0.18) 55.06 (+0.15) 168.48 (+0.19)
95bf19 45.93 (-0.02) 48.22 (-0.00) 47.90 (+0.02) 142.06 (-0.00)
080752 46.96 (-0.16) 48.41 (-0.14) 46.89 (-0.14) 142.26 (-0.15)
23d5e2 55.78 (+0.05) 56.42 (+0.10) 54.59 (+0.03) 166.79 (+0.06)
23d5e2 52.88 (+0.14) 51.27 (+0.06) 53.13 (+0.18) 157.28 (+0.12)
8b710b 46.27 (-0.03) 48.48 (+0.06) 45.20 (-0.08) 139.95 (-0.01)
8c6e60 47.66 (-0.01) 45.54 (-0.00) 48.87 (+0.01) 142.07 (-0.00)
10dae7 48.28 (+0.05) 45.70 (-0.08) 48.18 (+0.02) 142.17 (-0.00)
4c4d3d 46.06 (-0.01) 49.42 (-0.00) 47.18 (-0.01) 142.66 (-0.01)
9f94d0 46.66 (+0.02) 49.51 (+0.02) 47.81 (+0.00) 143.98 (+0.02)
9f94d0 45.73 (+0.03) 48.39 (+0.07) 47.59 (+0.08) 141.71 (+0.06)
9f94d0 44.40 (+0.00) 45.27 (+0.00) 43.93 (-0.02) 133.60 (-0.01)
c700c7 44.19 (-0.04) 45.27 (+0.02) 44.99 (-0.02) 134.45 (-0.01)
42c6dd 45.93 (+0.05) 44.19 (-0.05) 45.68 (+0.04) 135.80 (+0.01)
f6bf7b 43.86 (+0.04) 46.47 (+0.06) 43.80 (+0.00) 134.13 (+0.03)
1137b5 42.37 (-0.02) 43.74 (-0.03) 43.60 (-0.01) 129.70 (-0.02)
1468c6 43.07 (-0.00) 45.12 (+0.05) 44.23 (-0.03) 132.41 (+0.01)
1468c6 43.21 (-0.03) 43.04 (-0.03) 45.42 (+0.01) 131.67 (-0.02)
c01f92 44.71 (+0.00) 44.47 (+0.03) 44.91 (+0.01) 134.10 (+0.01)
7ff591 44.67 (+0.03) 43.14 (+0.01) 44.65 (+0.01) 132.46 (+0.02)
5d4774 43.37 (-0.19) 42.51 (-0.21) 44.06 (-0.16) 129.95 (-0.19)
56d8c2 53.59 (-0.00) 53.75 (+0.01) 52.60 (-0.01) 159.94 (-0.00)
12e6f4 53.71 (+0.03) 53.34 (+0.00) 53.00 (-0.02) 160.05 (+0.00)
12e6f4 52.38 (-0.06) 53.29 (-0.01) 54.08 (+0.01) 159.75 (-0.02)
61194a 55.55 (-0.08) 53.98 (-0.12) 53.47 (-0.10) 163.00 (-0.10)
70ce01 60.47 (+0.02) 61.07 (+0.01) 59.12 (-0.00) 180.66 (+0.01)
c04c20 59.43 (+0.01) 60.52 (+0.02) 59.42 (-0.02) 179.36 (+0.01)
827ee1 58.85 (-0.01) 59.16 (-0.00) 60.37 (+0.01) 178.38 (+0.00)
22ae67 59.17 (+0.00) 59.18 (+0.01) 59.99 (-0.01) 178.34 (-0.00)
0f4458 58.96 (+0.03) 58.77 (-0.02) 60.72 (+0.03) 178.44 (+0.01)
0f4458 57.36 (-0.06) 59.74 (-0.01) 58.88 (-0.06) 175.98 (-0.04)
0f4458 61.12 (+0.02) 60.20 (-0.00) 62.91 (+0.07) 184.24 (+0.03)
b8a566 60.12 (-0.03) 60.42 (-0.03) 58.76 (-0.03) 179.30 (-0.03)
b8a566 62.15 (+0.07) 62.49 (+0.06) 60.59 (+0.01) 185.23 (+0.05)
9747e9 58.23 (+0.03) 58.78 (+0.04) 59.88 (+0.04) 176.89 (+0.03)
b50e07 56.80 (-0.09) 56.72 (-0.08) 57.69 (-0.04) 171.22 (-0.07)
6a57d5 62.45 (+0.10) 61.75 (+0.07) 60.14 (+0.06) 184.35 (+0.08)
c0480f 56.71 (-0.04) 57.70 (+0.01) 56.77 (+0.03) 171.19 (+0.00)
4f443c 58.92 (+0.04) 57.17 (-0.00) 55.00 (-0.05) 171.10 (-0.00)
4f443c 56.41 (-0.05) 57.33 (-0.02) 57.89 (+0.02) 171.63 (-0.02)
788823 59.53 (-0.52) 58.58 (-0.52) 56.81 (-0.51) 174.92 (-0.52)
c21104 124.31 (+1.13) 120.79 (+1.09) 116.62 (+1.01) 361.73 (+1.08)
b9544a 58.23 (-0.02) 57.80 (-0.04) 58.10 (-0.02) 174.13 (-0.03)
33834c 59.43 (+0.02) 59.91 (+0.06) 59.29 (+0.08) 178.64 (+0.06)
521667 58.10 (+0.02) 56.27 (-0.00) 54.69 (-0.02) 169.07 (+0.00)
361648 56.80 (+0.01) 56.30 (+0.01) 55.79 (-0.00) 168.89 (+0.00)
fc0629 56.50 56.02 56.00 168.51

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query31]

platform: rds-aurora

revision Q31/1 Q31/2 Q31/3 total_duration
41aa62 76.80 (-0.01) 75.40 (+0.02) 75.30 (-0.00) 227.51 (+0.00)
7b5489 77.27 (-0.11) 73.85 (-0.12) 75.53 (-0.12) 226.65 (-0.12)
a23b07 86.74 (+0.17) 83.69 (+0.07) 86.31 (+0.15) 256.73 (+0.13)
cc2d00 73.85 (+0.04) 78.57 (+0.12) 74.91 (+0.03) 227.33 (+0.06)
ba9df2 71.05 (+0.19) 69.99 (+0.14) 72.82 (+0.22) 213.86 (+0.19)
a8f354 59.47 (+0.04) 61.17 (+0.06) 59.79 (+0.07) 180.43 (+0.06)
7feb0d 56.97 (-0.09) 57.67 (-0.10) 55.70 (-0.13) 170.33 (-0.11)
982fce 62.66 (+0.08) 64.38 (+0.17) 63.66 (+0.14) 190.70 (+0.13)
1f151d 58.16 (+0.13) 54.88 (-0.01) 55.95 (+0.03) 168.99 (+0.05)
ff1a1a 51.53 (-0.19) 55.20 (-0.17) 54.41 (-0.15) 161.14 (-0.17)
b1477b 63.77 (-0.03) 66.28 (+0.04) 63.77 (-0.03) 193.82 (-0.01)
1b947f 65.41 (-0.10) 63.43 (-0.13) 66.03 (-0.09) 194.88 (-0.11)
a21b55 72.80 (-0.03) 72.92 (+0.00) 72.71 (+0.02) 218.44 (-0.00)
4ba950 75.10 (+0.11) 72.79 (+0.19) 71.21 (+0.15) 219.10 (+0.15)
4e359d 67.44 (+0.05) 61.39 (-0.02) 61.94 (-0.01) 190.77 (+0.00)
3837fc 64.51 (+0.15) 62.60 (+0.07) 62.80 (+0.07) 189.91 (+0.09)
edcf4d 56.31 (+0.04) 58.72 (+0.12) 58.81 (+0.13) 173.85 (+0.10)
411c71 54.35 (-0.07) 52.37 (-0.14) 51.89 (-0.13) 158.61 (-0.11)
854348 58.42 (-0.01) 60.70 (+0.02) 59.72 (-0.01) 178.85 (-0.00)
7ba5c2 59.21 (+0.00) 59.54 (-0.01) 60.45 (+0.00) 179.20 (-0.00)
ebea29 59.19 (+0.02) 59.93 (+0.00) 60.23 (+0.04) 179.35 (+0.02)
22c890 58.24 (+0.01) 59.92 (+0.06) 57.80 (+0.03) 175.97 (+0.03)
f0b2e0 57.70 (+0.09) 56.27 (+0.07) 56.39 (+0.00) 170.36 (+0.05)
dec580 53.14 (-0.02) 52.77 (+0.02) 56.15 (+0.03) 162.06 (+0.01)
dec580 54.09 (+0.01) 51.77 (-0.05) 54.75 (-0.00) 160.61 (-0.01)
b1c2a6 53.53 (+0.05) 54.58 (-0.03) 54.83 (-0.01) 162.94 (+0.00)
931094 51.22 (-0.01) 56.11 (+0.07) 55.50 (+0.03) 162.84 (+0.03)
957acb 51.51 (+0.00) 52.52 (-0.02) 53.81 (-0.01) 157.85 (-0.01)
846532 51.27 (-0.06) 53.69 (+0.03) 54.23 (+0.06) 159.19 (+0.01)
d733bc 54.61 (+0.04) 52.16 (-0.00) 51.39 (-0.02) 158.16 (+0.00)
75ffe3 52.72 (+0.02) 52.28 (-0.03) 52.39 (-0.04) 157.39 (-0.02)
75ffe3 51.93 (-0.22) 53.89 (-0.18) 54.40 (-0.18) 160.23 (-0.19)
bf4623 66.24 (-0.04) 65.42 (-0.03) 65.97 (-0.04) 197.63 (-0.04)
b26c83 68.95 (-0.02) 67.64 (+0.01) 68.90 (+0.04) 205.48 (+0.01)
9d714a 70.39 (+0.03) 66.97 (+0.00) 66.50 (-0.01) 203.86 (+0.01)
6efea4 68.05 (+0.02) 66.81 (-0.04) 67.16 (+0.04) 202.02 (+0.01)
4071ff 66.77 (-0.01) 69.69 (+0.06) 64.33 (-0.02) 200.79 (+0.01)
4071ff 67.62 (+0.02) 65.88 (-0.03) 65.86 (+0.02) 199.37 (+0.00)
870ba4 66.05 (-0.04) 67.68 (-0.00) 64.71 (-0.04) 198.44 (-0.03)
f5ca89 68.58 (+0.03) 67.71 (-0.00) 67.28 (+0.03) 203.58 (+0.02)
8bd565 66.69 (-0.04) 67.78 (-0.03) 65.21 (-0.03) 199.68 (-0.03)
dd22c8 69.46 (+0.04) 70.04 (+0.01) 67.03 (-0.03) 206.54 (+0.01)
299db9 66.80 (+0.02) 69.10 (+0.02) 68.86 (-0.04) 204.76 (-0.00)
93f3f4 65.39 (-0.05) 67.64 (+0.00) 71.75 (+0.06) 204.78 (+0.00)
f6e2e0 69.01 (+0.01) 67.50 (+0.01) 67.61 (-0.01) 204.12 (+0.00)
f6e2e0 68.03 (+0.02) 67.11 (-0.06) 68.07 (-0.01) 203.21 (-0.02)
f6e2e0 66.83 (-0.03) 71.47 (+0.07) 68.65 (+0.03) 206.96 (+0.02)
f1d960 68.97 (+0.04) 66.94 (-0.02) 66.65 (-0.01) 202.56 (+0.00)
4a9279 66.46 (-0.04) 68.28 (-0.05) 67.45 (-0.01) 202.18 (-0.03)
2e4bf7 69.25 (+0.02) 71.78 (+0.03) 68.43 (+0.01) 209.46 (+0.02)
ce8fbb 67.65 (-0.02) 70.00 (+0.02) 67.90 (-0.01) 205.56 (-0.00)
ce8fbb 68.93 (+0.07) 68.47 (+0.03) 68.44 (+0.03) 205.84 (+0.04)
ce8fbb 64.21 (-0.05) 66.60 (-0.00) 66.61 (-0.01) 197.42 (-0.02)
d1a0f2 67.25 (+0.04) 66.76 (+0.01) 67.52 (-0.01) 201.53 (+0.01)
ccf92d 64.45 (-0.06) 65.82 (-0.05) 68.45 (+0.02) 198.72 (-0.03)
02b8e0 68.41 (+0.06) 69.02 (+0.01) 67.29 (-0.03) 204.73 (+0.01)
7b9057 64.62 (-0.01) 68.49 (+0.08) 69.62 (+0.09) 202.73 (+0.05)
9cada8 65.25 (+0.01) 63.23 (-0.04) 63.97 (-0.03) 192.46 (-0.02)
9cada8 64.82 (+0.01) 66.12 (+0.00) 66.10 (-0.05) 197.05 (-0.01)
9cada8 64.28 (-0.01) 66.00 (+0.01) 69.32 (+0.03) 199.61 (+0.01)
a60f68 65.03 (-0.01) 65.64 (-0.07) 67.26 (+0.00) 197.94 (-0.03)
d19c52 65.57 (-0.03) 70.69 (+0.05) 67.07 (-0.01) 203.34 (+0.00)
000eb1 67.91 (+0.04) 67.36 (+0.03) 67.66 (-0.00) 202.92 (+0.02)
000eb1 65.08 (-0.01) 65.36 (+0.02) 67.85 (+0.01) 198.30 (+0.01)
f51b48 65.61 (+0.01) 63.90 (-0.02) 67.15 (+0.03) 196.67 (+0.01)
f51b48 64.65 (-0.05) 65.20 (-0.03) 65.43 (+0.02) 195.27 (-0.02)
f51b48 68.25 (+0.05) 67.39 (+0.03) 64.34 (-0.01) 199.98 (+0.02)
9f906f 65.11 (+0.07) 65.59 (+0.10) 65.22 (+0.12) 195.91 (+0.10)
0692ff 60.86 (+0.03) 59.69 (-0.01) 58.31 (-0.04) 178.87 (-0.01)
2caece 58.95 (-0.02) 60.49 (+0.02) 60.81 (+0.01) 180.25 (+0.00)
bc7d3c 60.34 (-0.05) 59.35 (-0.07) 60.45 (-0.06) 180.14 (-0.06)
2153d2 63.27 (+0.02) 64.16 (-0.03) 64.13 (+0.04) 191.56 (+0.01)
2153d2 61.87 (-0.04) 66.26 (+0.11) 61.74 (-0.03) 189.88 (+0.01)
2153d2 64.63 (+0.11) 59.69 (-0.00) 63.40 (+0.03) 187.73 (+0.04)
a1b062 58.19 (-0.06) 59.84 (-0.03) 61.76 (+0.02) 179.78 (-0.02)
1d9d7c 62.15 (+0.05) 61.40 (+0.03) 60.71 (+0.00) 184.27 (+0.03)
3569c1 58.93 (-0.06) 59.60 (-0.04) 60.69 (-0.00) 179.23 (-0.03)
eaff14 62.87 (+0.05) 62.09 (+0.02) 60.75 (+0.04) 185.72 (+0.04)
f383b4 59.94 (+0.01) 60.67 (+0.02) 58.60 (-0.01) 179.21 (+0.01)
f383b4 59.44 (-0.01) 59.28 (-0.02) 59.01 (-0.01) 177.73 (-0.01)
f383b4 59.80 (-0.03) 60.60 (+0.02) 59.43 (-0.01) 179.84 (-0.01)
a4256b 61.61 (+0.03) 59.59 (+0.01) 60.06 (+0.01) 181.27 (+0.02)
371493 59.56 (-0.03) 58.97 (+0.00) 59.54 (+0.02) 178.07 (-0.00)
c5c143 61.39 (-0.02) 58.87 (-0.01) 58.59 (-0.02) 178.86 (-0.02)
58fa4f 62.94 (+0.07) 59.20 (-0.02) 59.58 (-0.01) 181.73 (+0.01)
121d53 58.94 (+0.02) 60.43 (+0.05) 60.38 (+0.03) 179.75 (+0.03)
121d53 57.93 (+0.00) 57.53 (-0.02) 58.76 (-0.01) 174.22 (-0.01)
ec3a3a 57.85 (-0.03) 58.90 (+0.00) 59.52 (+0.02) 176.28 (-0.00)
96e783 59.79 (+0.04) 58.61 (+0.02) 58.20 (-0.03) 176.60 (+0.01)
567b71 57.64 (-0.02) 57.49 (-0.02) 59.80 (+0.01) 174.94 (-0.01)
847fc5 58.69 (+0.01) 58.37 (-0.00) 59.40 (+0.03) 176.46 (+0.01)
5e08b3 57.93 (-0.01) 58.61 (-0.01) 57.72 (+0.01) 174.27 (-0.00)
4d291d 58.24 (+0.06) 59.31 (+0.04) 57.38 (+0.01) 174.93 (+0.03)
4d291d 55.09 (-0.04) 57.30 (+0.01) 56.91 (-0.00) 169.30 (-0.01)
bf63f1 57.46 (+0.02) 56.99 (+0.01) 57.05 (-0.01) 171.50 (+0.01)
0a0958 56.37 (-0.02) 56.39 (-0.01) 57.82 (-0.00) 170.59 (-0.01)
aabca5 57.55 (+0.02) 57.20 (-0.01) 57.94 (-0.05) 172.69 (-0.01)
a4be54 56.51 (+0.01) 57.78 (+0.01) 60.84 (+0.11) 175.12 (+0.04)
a3d7ad 56.03 (+0.03) 56.93 (-0.01) 54.68 (-0.04) 167.63 (-0.01)
a3d7ad 54.22 (-0.04) 57.46 (+0.09) 57.02 (+0.05) 168.69 (+0.03)
8ba169 56.46 (-0.02) 52.79 (-0.06) 54.48 (-0.01) 163.74 (-0.03)
e5cc2f 57.34 (+0.04) 56.31 (+0.00) 55.29 (-0.02) 168.93 (+0.01)
c6b56d 55.29 (+0.00) 56.05 (+0.02) 56.49 (+0.05) 167.83 (+0.02)
e067cd 55.20 (-0.01) 55.18 (-0.01) 53.70 (-0.04) 164.08 (-0.02)
bce423 55.78 (-0.00) 56.00 (+0.02) 55.67 (-0.01) 167.45 (+0.00)
bce423 55.89 (+0.02) 54.83 (-0.03) 56.37 (+0.00) 167.10 (-0.00)
c28bfd 54.96 (-0.03) 56.57 (+0.01) 56.19 (-0.02) 167.72 (-0.01)
95bf19 56.67 (+0.19) 56.09 (+0.10) 57.31 (+0.21) 170.06 (+0.17)
95bf19 47.63 (+0.02) 50.80 (+0.02) 47.28 (-0.01) 145.72 (+0.01)
080752 46.73 (-0.16) 50.02 (-0.13) 47.60 (-0.17) 144.34 (-0.15)
23d5e2 55.73 (+0.01) 57.55 (+0.03) 57.28 (+0.02) 170.56 (+0.02)
23d5e2 54.93 (+0.14) 55.62 (+0.14) 56.39 (+0.18) 166.94 (+0.15)
8b710b 48.14 (-0.01) 48.89 (+0.05) 47.64 (-0.06) 144.68 (-0.01)
8c6e60 48.53 (+0.01) 46.73 (-0.02) 50.43 (+0.01) 145.70 (+0.00)
10dae7 47.88 (-0.00) 47.81 (-0.04) 49.97 (+0.05) 145.66 (+0.00)
4c4d3d 48.04 (-0.04) 49.59 (-0.04) 47.78 (-0.01) 145.41 (-0.03)
9f94d0 50.23 (+0.07) 51.61 (+0.07) 48.11 (+0.05) 149.95 (+0.06)
9f94d0 46.98 (+0.03) 48.17 (+0.11) 46.01 (+0.01) 141.16 (+0.05)
9f94d0 45.66 (+0.00) 43.54 (-0.02) 45.36 (-0.03) 134.55 (-0.02)
c700c7 45.52 (+0.01) 44.56 (-0.03) 46.96 (+0.01) 137.04 (-0.00)
42c6dd 44.89 (-0.03) 46.17 (+0.04) 46.35 (+0.01) 137.41 (+0.01)
f6bf7b 46.45 (+0.01) 44.20 (+0.02) 45.79 (+0.03) 136.45 (+0.02)
1137b5 45.82 (-0.03) 43.46 (-0.05) 44.54 (+0.00) 133.82 (-0.03)
1468c6 47.22 (+0.04) 45.68 (+0.00) 44.50 (-0.01) 137.40 (+0.01)
1468c6 45.35 (+0.04) 45.61 (+0.00) 44.78 (+0.01) 135.74 (+0.02)
c01f92 43.55 (-0.01) 45.56 (-0.02) 44.15 (-0.02) 133.26 (-0.02)
7ff591 43.77 (-0.00) 46.68 (+0.02) 45.25 (+0.02) 135.70 (+0.01)
5d4774 43.78 (-0.16) 45.94 (-0.14) 44.49 (-0.22) 134.21 (-0.17)
56d8c2 51.94 (-0.04) 53.46 (-0.03) 56.83 (+0.04) 162.23 (-0.01)
12e6f4 53.91 (-0.05) 54.99 (+0.01) 54.52 (+0.03) 163.43 (-0.00)
12e6f4 56.77 (+0.08) 54.41 (+0.02) 53.02 (-0.04) 164.20 (+0.02)
61194a 52.34 (-0.13) 53.60 (-0.12) 55.19 (-0.11) 161.13 (-0.12)
70ce01 60.10 (+0.01) 60.95 (-0.00) 62.34 (+0.05) 183.39 (+0.02)
c04c20 59.62 (-0.01) 61.11 (+0.03) 59.61 (-0.00) 180.34 (+0.01)
827ee1 60.26 (-0.03) 59.19 (-0.02) 59.63 (-0.01) 179.08 (-0.02)
22ae67 62.08 (+0.00) 60.49 (+0.00) 60.10 (+0.01) 182.68 (+0.01)
0f4458 61.84 (+0.05) 60.46 (-0.08) 59.26 (-0.01) 181.56 (-0.02)
0f4458 59.09 (-0.02) 65.87 (+0.09) 59.99 (-0.01) 184.95 (+0.02)
0f4458 60.20 (+0.02) 60.35 (+0.02) 60.81 (+0.02) 181.36 (+0.02)
b8a566 58.79 (-0.05) 58.99 (-0.07) 59.89 (-0.05) 177.68 (-0.06)
b8a566 61.76 (+0.02) 63.21 (+0.07) 63.19 (+0.09) 188.16 (+0.06)
9747e9 60.58 (+0.03) 59.28 (-0.00) 58.00 (+0.04) 177.85 (+0.02)
b50e07 58.54 (-0.11) 59.40 (-0.03) 55.61 (-0.11) 173.55 (-0.09)
6a57d5 66.00 (+0.16) 61.30 (+0.09) 62.81 (+0.09) 190.12 (+0.11)
c0480f 56.69 (+0.01) 56.44 (-0.04) 57.58 (-0.04) 170.71 (-0.03)
4f443c 56.34 (-0.02) 58.88 (+0.03) 60.24 (+0.05) 175.46 (+0.02)
4f443c 57.56 (+0.00) 57.39 (-0.04) 57.29 (-0.02) 172.24 (-0.02)
788823 57.49 (-0.54) 59.82 (-0.51) 58.58 (-0.52) 175.90 (-0.52)
c21104 124.72 (+1.07) 122.01 (+0.98) 121.60 (+1.03) 368.33 (+1.03)
b9544a 60.28 (-0.02) 61.54 (+0.04) 59.84 (+0.02) 181.67 (+0.01)
33834c 61.32 (+0.07) 59.39 (+0.02) 58.52 (+0.01) 179.23 (+0.03)
521667 57.52 (-0.01) 58.27 (+0.00) 57.79 (-0.01) 173.58 (-0.00)
361648 58.06 (-0.01) 58.00 (-0.02) 58.18 (+0.02) 174.24 (-0.00)
fc0629 58.43 59.01 56.91 174.35

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query32]

platform: rds-aurora

revision Q32/1 Q32/2 Q32/3 total_duration
41aa62 111.35 (+0.01) 108.20 (+0.04) 108.87 (+0.02) 328.43 (+0.02)
7b5489 109.96 (-0.08) 104.50 (-0.12) 107.21 (-0.12) 321.67 (-0.11)
a23b07 119.45 (+0.11) 118.61 (+0.07) 121.89 (+0.15) 359.95 (+0.11)
cc2d00 107.13 (+0.06) 110.84 (+0.09) 105.64 (+0.03) 323.61 (+0.06)
ba9df2 100.96 (+0.16) 101.34 (+0.20) 102.23 (+0.23) 304.53 (+0.20)
a8f354 86.97 (+0.07) 84.41 (+0.04) 83.25 (+0.02) 254.63 (+0.04)
7feb0d 81.04 (-0.11) 81.21 (-0.11) 81.60 (-0.13) 243.85 (-0.12)
982fce 90.96 (+0.13) 91.13 (+0.09) 94.28 (+0.17) 276.38 (+0.13)
1f151d 80.24 (-0.00) 83.45 (+0.09) 80.49 (+0.03) 244.19 (+0.04)
ff1a1a 80.54 (-0.15) 76.88 (-0.18) 78.10 (-0.17) 235.52 (-0.17)
b1477b 94.39 (+0.00) 93.78 (+0.01) 94.33 (+0.01) 282.50 (+0.01)
1b947f 94.22 (-0.09) 92.49 (-0.07) 93.32 (-0.08) 280.04 (-0.08)
a21b55 103.41 (+0.05) 99.52 (-0.04) 101.60 (-0.02) 304.53 (-0.00)
4ba950 98.16 (+0.13) 103.62 (+0.15) 103.17 (+0.16) 304.96 (+0.15)
4e359d 87.04 (-0.00) 90.25 (-0.04) 88.61 (-0.05) 265.90 (-0.03)
3837fc 87.20 (+0.08) 93.98 (+0.12) 93.37 (+0.18) 274.55 (+0.13)
edcf4d 80.72 (-0.01) 83.64 (+0.04) 79.24 (+0.02) 243.60 (+0.02)
411c71 81.65 (-0.03) 80.16 (-0.09) 77.54 (-0.10) 239.35 (-0.08)
854348 84.60 (-0.02) 87.94 (+0.02) 86.26 (+0.06) 258.80 (+0.02)
7ba5c2 86.06 (-0.00) 86.48 (+0.01) 81.72 (-0.03) 254.27 (-0.01)
ebea29 86.08 (+0.03) 86.02 (+0.00) 84.09 (-0.05) 256.20 (-0.01)
22c890 83.53 (+0.03) 85.67 (+0.04) 88.86 (+0.06) 258.06 (+0.05)
f0b2e0 80.97 (+0.04) 82.02 (+0.06) 83.58 (+0.09) 246.57 (+0.06)
dec580 77.76 (-0.01) 77.24 (-0.02) 76.53 (-0.03) 231.53 (-0.02)
dec580 78.24 (-0.02) 78.56 (+0.02) 78.97 (+0.02) 235.77 (+0.01)
b1c2a6 79.52 (+0.03) 77.00 (+0.02) 77.08 (-0.04) 233.60 (+0.00)
931094 77.17 (+0.03) 75.62 (-0.03) 80.16 (+0.04) 232.95 (+0.01)
957acb 74.92 (-0.03) 77.80 (+0.01) 77.12 (-0.01) 229.85 (-0.01)
846532 77.01 (+0.00) 77.04 (+0.03) 78.00 (+0.01) 232.05 (+0.02)
d733bc 76.68 (+0.02) 74.71 (-0.01) 77.12 (+0.02) 228.51 (+0.01)
75ffe3 74.91 (-0.06) 75.33 (-0.04) 75.86 (-0.04) 226.11 (-0.05)
75ffe3 79.45 (-0.18) 78.19 (-0.17) 79.22 (-0.17) 236.86 (-0.17)
bf4623 97.22 (+0.02) 94.36 (-0.04) 95.04 (-0.09) 286.62 (-0.04)
b26c83 95.35 (-0.01) 97.90 (-0.00) 104.10 (+0.07) 297.35 (+0.02)
9d714a 96.63 (+0.02) 98.32 (+0.06) 97.06 (+0.02) 292.00 (+0.03)
6efea4 95.08 (+0.01) 92.54 (-0.05) 95.57 (+0.03) 283.20 (-0.01)
4071ff 94.53 (+0.00) 97.43 (+0.05) 93.20 (+0.01) 285.16 (+0.02)
4071ff 94.12 (+0.00) 92.44 (-0.05) 92.26 (-0.00) 278.82 (-0.01)
870ba4 93.70 (-0.02) 96.89 (+0.01) 92.48 (-0.01) 283.06 (-0.01)
f5ca89 95.72 (+0.02) 96.00 (+0.02) 93.75 (-0.02) 285.47 (+0.01)
8bd565 94.03 (-0.02) 93.91 (-0.03) 95.92 (-0.02) 283.87 (-0.02)
dd22c8 95.66 (+0.02) 96.70 (+0.03) 98.24 (+0.01) 290.60 (+0.02)
299db9 94.17 (+0.01) 94.30 (-0.01) 97.10 (+0.01) 285.57 (+0.01)
93f3f4 93.34 (-0.03) 95.06 (-0.04) 95.72 (-0.04) 284.12 (-0.04)
f6e2e0 96.37 (-0.02) 98.90 (+0.00) 99.60 (+0.01) 294.88 (-0.00)
f6e2e0 97.85 (-0.00) 98.81 (-0.03) 98.71 (+0.01) 295.37 (-0.01)
f6e2e0 97.85 (-0.00) 101.57 (+0.01) 98.22 (+0.03) 297.64 (+0.01)
f1d960 97.95 (+0.01) 100.22 (+0.05) 95.80 (+0.01) 293.97 (+0.03)
4a9279 97.09 (-0.00) 95.10 (-0.09) 94.42 (-0.05) 286.61 (-0.05)
2e4bf7 97.48 (+0.03) 104.39 (+0.05) 98.96 (-0.00) 300.83 (+0.03)
ce8fbb 94.69 (-0.04) 99.30 (-0.03) 99.01 (+0.01) 292.99 (-0.02)
ce8fbb 98.56 (-0.00) 102.30 (+0.03) 98.01 (-0.01) 298.87 (+0.01)
ce8fbb 99.05 (+0.01) 99.31 (-0.02) 98.76 (+0.01) 297.12 (-0.00)
d1a0f2 98.36 (-0.01) 101.80 (+0.05) 97.87 (-0.01) 298.03 (+0.01)
ccf92d 99.24 (+0.03) 96.57 (+0.02) 98.91 (+0.03) 294.72 (+0.03)
02b8e0 96.31 (-0.01) 94.32 (-0.04) 96.30 (-0.04) 286.93 (-0.03)
7b9057 97.43 (+0.02) 98.27 (+0.02) 100.14 (+0.12) 295.83 (+0.05)
9cada8 95.75 (+0.01) 96.28 (+0.06) 89.72 (-0.07) 281.75 (-0.00)
9cada8 95.13 (+0.01) 90.52 (-0.00) 96.40 (+0.01) 282.05 (+0.00)
9cada8 94.37 (-0.05) 90.80 (-0.01) 95.68 (-0.01) 280.85 (-0.03)
a60f68 99.10 (+0.06) 92.14 (-0.02) 97.00 (-0.00) 288.24 (+0.01)
d19c52 93.09 (-0.02) 93.80 (-0.02) 97.37 (+0.02) 284.26 (-0.01)
000eb1 94.64 (+0.01) 95.84 (+0.01) 95.67 (-0.01) 286.16 (+0.00)
000eb1 93.70 (-0.09) 95.18 (+0.01) 96.42 (+0.02) 285.31 (-0.02)
f51b48 102.57 (+0.04) 94.59 (+0.01) 94.33 (-0.04) 291.48 (+0.00)
f51b48 99.00 (+0.03) 94.03 (-0.02) 98.08 (+0.02) 291.12 (+0.01)
f51b48 96.21 (+0.05) 95.93 (+0.02) 95.95 (+0.00) 288.10 (+0.02)
9f906f 91.47 (+0.06) 94.05 (+0.04) 95.85 (+0.11) 281.38 (+0.07)
0692ff 86.31 (-0.01) 90.09 (+0.06) 86.59 (-0.00) 262.99 (+0.01)
2caece 87.57 (+0.03) 84.89 (+0.02) 86.74 (-0.05) 259.20 (-0.00)
bc7d3c 84.65 (-0.05) 83.43 (-0.11) 91.61 (+0.01) 259.69 (-0.05)
2153d2 88.99 (+0.00) 93.39 (+0.03) 91.08 (+0.06) 273.46 (+0.03)
2153d2 88.94 (-0.01) 90.42 (+0.08) 85.98 (-0.01) 265.35 (+0.02)
2153d2 90.07 (+0.07) 83.71 (-0.04) 86.93 (-0.03) 260.72 (-0.00)
a1b062 84.51 (-0.03) 87.36 (-0.00) 89.35 (-0.02) 261.22 (-0.02)
1d9d7c 87.36 (-0.04) 87.48 (+0.01) 91.21 (+0.06) 266.06 (+0.01)
3569c1 90.75 (+0.01) 86.29 (-0.02) 86.42 (-0.06) 263.46 (-0.02)
eaff14 89.45 (+0.04) 87.72 (+0.03) 92.00 (+0.05) 269.18 (+0.04)
f383b4 85.61 (-0.00) 85.03 (-0.02) 87.48 (+0.01) 258.12 (-0.00)
f383b4 85.66 (+0.02) 86.71 (+0.03) 86.88 (+0.03) 259.25 (+0.03)
f383b4 84.01 (-0.03) 84.00 (-0.05) 84.23 (-0.02) 252.25 (-0.03)
a4256b 86.77 (+0.01) 88.19 (+0.04) 86.33 (+0.01) 261.29 (+0.02)
371493 86.11 (+0.03) 84.63 (+0.00) 85.46 (-0.02) 256.19 (+0.00)
c5c143 83.77 (-0.05) 84.43 (-0.02) 87.17 (+0.02) 255.37 (-0.02)
58fa4f 88.23 (+0.03) 86.41 (-0.00) 85.45 (-0.01) 260.09 (+0.01)
121d53 85.85 (+0.01) 86.69 (+0.01) 85.90 (+0.02) 258.44 (+0.01)
121d53 84.78 (+0.01) 85.90 (+0.06) 84.04 (-0.03) 254.72 (+0.01)
ec3a3a 83.68 (-0.03) 81.03 (-0.08) 86.68 (+0.01) 251.40 (-0.03)
96e783 86.16 (+0.02) 87.77 (+0.07) 85.51 (+0.03) 259.44 (+0.04)
567b71 84.22 (-0.03) 81.93 (-0.03) 82.77 (+0.02) 248.92 (-0.01)
847fc5 87.25 (+0.03) 84.32 (-0.00) 81.01 (-0.03) 252.58 (-0.00)
5e08b3 84.56 (+0.03) 84.46 (+0.04) 83.71 (-0.01) 252.73 (+0.02)
4d291d 82.45 (+0.01) 81.40 (+0.00) 84.95 (-0.01) 248.79 (-0.00)
4d291d 81.55 (+0.00) 81.22 (-0.01) 86.18 (+0.06) 248.96 (+0.02)
bf63f1 81.22 (+0.03) 81.86 (+0.02) 81.61 (-0.01) 244.69 (+0.01)
0a0958 79.15 (-0.06) 79.87 (-0.04) 82.54 (+0.03) 241.56 (-0.02)
aabca5 84.22 (-0.00) 82.91 (+0.03) 79.88 (-0.05) 247.02 (-0.01)
a4be54 84.35 (+0.04) 80.58 (-0.04) 83.76 (+0.04) 248.70 (+0.01)
a3d7ad 80.98 (-0.00) 83.76 (+0.05) 80.46 (-0.00) 245.20 (+0.02)
a3d7ad 81.06 (-0.00) 79.49 (-0.03) 80.72 (+0.02) 241.26 (-0.01)
8ba169 81.42 (+0.00) 81.80 (-0.03) 79.40 (-0.03) 242.62 (-0.02)
e5cc2f 81.42 (+0.05) 84.29 (+0.05) 82.13 (+0.01) 247.83 (+0.04)
c6b56d 77.45 (-0.04) 80.22 (+0.01) 81.02 (+0.04) 238.70 (+0.00)
e067cd 80.84 (+0.02) 79.77 (-0.02) 77.76 (-0.04) 238.38 (-0.01)
bce423 79.56 (-0.03) 81.40 (-0.03) 80.98 (+0.02) 241.94 (-0.01)
bce423 82.12 (+0.05) 83.75 (+0.06) 79.07 (-0.02) 244.93 (+0.03)
c28bfd 77.87 (-0.04) 78.75 (-0.03) 80.74 (+0.01) 237.36 (-0.02)
95bf19 81.08 (+0.09) 80.78 (+0.13) 79.63 (+0.03) 241.50 (+0.08)
95bf19 74.40 (+0.01) 71.77 (+0.01) 77.34 (+0.07) 223.52 (+0.03)
080752 73.43 (-0.11) 71.11 (-0.12) 72.45 (-0.13) 216.98 (-0.12)
23d5e2 82.25 (+0.05) 81.19 (+0.02) 82.90 (+0.05) 246.34 (+0.04)
23d5e2 78.61 (+0.06) 79.29 (+0.12) 78.62 (+0.12) 236.52 (+0.10)
8b710b 73.93 (+0.04) 70.71 (-0.05) 70.26 (-0.02) 214.90 (-0.01)
8c6e60 71.13 (-0.01) 74.26 (+0.01) 71.61 (+0.00) 217.00 (+0.00)
10dae7 71.62 (-0.03) 73.60 (+0.01) 71.37 (-0.04) 216.59 (-0.02)
4c4d3d 73.69 (-0.12) 73.19 (-0.16) 73.99 (-0.15) 220.87 (-0.14)
9f94d0 83.75 (+0.15) 87.06 (+0.00) 87.05 (+0.06) 257.87 (+0.06)
9f94d0 73.04 (+0.08) 86.93 (+0.29) 82.21 (+0.17) 242.18 (+0.18)
9f94d0 67.78 (-0.01) 67.19 (-0.06) 70.11 (+0.02) 205.08 (-0.02)
c700c7 68.36 (-0.04) 71.17 (+0.03) 68.77 (+0.02) 208.30 (+0.00)
42c6dd 71.26 (+0.04) 68.96 (+0.02) 67.56 (-0.02) 207.79 (+0.01)
f6bf7b 68.47 (+0.03) 67.92 (+0.03) 69.25 (+0.01) 205.64 (+0.02)
1137b5 66.43 (-0.01) 66.24 (-0.03) 68.59 (-0.03) 201.27 (-0.02)
1468c6 66.77 (-0.00) 68.61 (+0.01) 70.58 (+0.03) 205.97 (+0.01)
1468c6 66.84 (-0.03) 68.05 (-0.02) 68.41 (+0.02) 203.30 (-0.01)
c01f92 68.73 (-0.02) 69.79 (+0.02) 67.07 (+0.01) 205.58 (+0.00)
7ff591 70.03 (+0.04) 68.20 (+0.03) 66.37 (+0.00) 204.60 (+0.02)
5d4774 67.55 (-0.15) 65.92 (-0.13) 66.19 (-0.15) 199.66 (-0.14)
56d8c2 79.63 (+0.00) 75.90 (-0.04) 77.72 (-0.00) 233.25 (-0.01)
12e6f4 79.36 (+0.02) 78.97 (-0.01) 77.83 (-0.01) 236.16 (+0.00)
12e6f4 77.73 (-0.00) 79.60 (+0.03) 78.43 (+0.02) 235.76 (+0.02)
61194a 78.07 (-0.13) 77.31 (-0.13) 76.79 (-0.14) 232.18 (-0.13)
70ce01 90.11 (+0.02) 89.10 (+0.03) 88.86 (+0.02) 268.08 (+0.02)
c04c20 88.32 (-0.00) 86.44 (-0.05) 87.06 (-0.01) 261.82 (-0.02)
827ee1 88.63 (+0.02) 90.67 (+0.01) 88.32 (+0.01) 267.63 (+0.01)
22ae67 87.26 (+0.00) 89.50 (+0.04) 87.59 (+0.03) 264.34 (+0.02)
0f4458 87.06 (+0.00) 86.12 (+0.00) 85.26 (-0.02) 258.44 (-0.01)
0f4458 86.69 (-0.03) 86.02 (-0.03) 87.31 (+0.04) 260.02 (-0.01)
0f4458 89.07 (+0.02) 88.28 (+0.03) 84.24 (-0.03) 261.59 (+0.01)
b8a566 87.70 (-0.02) 85.59 (-0.03) 86.41 (-0.05) 259.71 (-0.03)
b8a566 89.56 (+0.07) 87.81 (+0.01) 91.21 (+0.08) 268.59 (+0.05)
9747e9 84.03 (+0.01) 86.79 (+0.02) 84.54 (-0.02) 255.36 (+0.00)
b50e07 83.57 (-0.06) 85.02 (-0.04) 85.98 (-0.03) 254.57 (-0.04)
6a57d5 88.49 (+0.04) 88.42 (+0.10) 89.00 (+0.08) 265.92 (+0.07)
c0480f 84.80 (-0.01) 80.17 (-0.04) 82.51 (-0.05) 247.48 (-0.04)
4f443c 85.85 (+0.01) 83.89 (-0.01) 86.82 (+0.06) 256.56 (+0.02)
4f443c 84.89 (-0.00) 85.11 (+0.04) 82.11 (-0.02) 252.10 (+0.00)
788823 85.31 (-0.52) 82.14 (-0.54) 84.11 (-0.52) 251.56 (-0.53)
c21104 178.81 (+1.05) 179.67 (+1.07) 176.11 (+0.95) 534.60 (+1.02)
b9544a 87.12 (+0.01) 86.92 (-0.00) 90.23 (+0.06) 264.27 (+0.02)
33834c 85.88 (+0.04) 87.00 (+0.04) 85.09 (-0.00) 257.97 (+0.03)
521667 82.82 (+0.03) 83.29 (+0.02) 85.42 (+0.02) 251.53 (+0.02)
361648 80.32 (-0.02) 81.40 (-0.03) 84.10 (-0.02) 245.82 (-0.02)
fc0629 81.57 84.00 85.87 251.45

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query33]

platform: rds-aurora

revision Q33/1 Q33/2 Q33/3 total_duration
41aa62 248.66 (+0.02) 249.10 (+0.01) 249.50 (+0.01) 747.26 (+0.01)
7b5489 244.50 (-0.12) 245.81 (-0.11) 245.97 (-0.09) 736.28 (-0.11)
a23b07 276.62 (+0.12) 275.35 (+0.13) 271.79 (+0.10) 823.76 (+0.12)
cc2d00 247.07 (+0.06) 244.53 (+0.03) 246.71 (+0.04) 738.30 (+0.05)
ba9df2 233.11 (+0.13) 236.52 (+0.12) 236.62 (+0.14) 706.25 (+0.13)
a8f354 206.46 (+0.07) 211.70 (+0.06) 207.40 (+0.02) 625.57 (+0.05)
7feb0d 193.07 (-0.15) 200.10 (-0.10) 203.00 (-0.10) 596.16 (-0.12)
982fce 227.64 (+0.15) 223.54 (+0.11) 224.69 (+0.10) 675.87 (+0.12)
1f151d 197.65 (+0.00) 202.10 (+0.03) 205.10 (+0.05) 604.85 (+0.03)
ff1a1a 196.73 (-0.17) 196.25 (-0.16) 195.30 (-0.17) 588.28 (-0.17)
b1477b 236.23 (+0.01) 234.21 (-0.01) 235.37 (-0.00) 705.82 (+0.00)
1b947f 232.85 (-0.04) 235.39 (-0.05) 235.70 (-0.07) 703.94 (-0.05)
a21b55 243.10 (-0.03) 247.51 (-0.02) 253.30 (-0.03) 743.91 (-0.03)
4ba950 250.06 (+0.16) 252.31 (+0.16) 260.70 (+0.12) 763.07 (+0.14)
4e359d 216.18 (-0.02) 218.16 (-0.01) 233.13 (+0.05) 667.48 (+0.01)
3837fc 221.25 (+0.12) 221.01 (+0.12) 221.27 (+0.12) 663.54 (+0.12)
edcf4d 197.98 (+0.01) 197.26 (+0.00) 198.02 (-0.00) 593.26 (+0.00)
411c71 196.60 (-0.09) 196.71 (-0.09) 198.03 (-0.08) 591.35 (-0.09)
854348 215.37 (+0.01) 216.38 (+0.06) 215.63 (-0.00) 647.39 (+0.02)
7ba5c2 214.18 (+0.02) 204.41 (-0.03) 216.48 (+0.02) 635.08 (+0.01)
ebea29 210.24 (+0.01) 209.70 (+0.00) 211.49 (+0.02) 631.42 (+0.01)
22c890 208.70 (+0.04) 209.20 (+0.02) 207.50 (+0.01) 625.41 (+0.02)
f0b2e0 200.98 (+0.06) 204.66 (+0.07) 205.02 (+0.08) 610.67 (+0.07)
dec580 189.91 (-0.03) 190.53 (+0.01) 190.42 (+0.01) 570.87 (-0.01)
dec580 195.44 (+0.01) 189.40 (-0.02) 189.03 (+0.01) 573.88 (+0.00)
b1c2a6 193.07 (+0.03) 192.70 (+0.02) 187.90 (-0.01) 573.67 (+0.01)
931094 187.37 (-0.01) 189.07 (-0.02) 189.02 (-0.00) 565.45 (-0.01)
957acb 189.23 (-0.00) 192.15 (+0.00) 189.04 (-0.01) 570.42 (-0.00)
846532 189.52 (+0.02) 191.42 (+0.01) 190.72 (+0.02) 571.66 (+0.02)
d733bc 186.39 (-0.03) 189.03 (-0.00) 187.20 (-0.01) 562.62 (-0.01)
75ffe3 192.53 (+0.02) 189.68 (+0.01) 188.81 (+0.00) 571.01 (+0.01)
75ffe3 187.85 (-0.21) 187.70 (-0.22) 188.67 (-0.20) 564.22 (-0.21)
bf4623 236.84 (-0.00) 239.96 (+0.03) 236.11 (+0.01) 712.92 (+0.01)
b26c83 237.45 (-0.01) 233.20 (-0.01) 234.82 (-0.02) 705.48 (-0.01)
9d714a 240.15 (+0.02) 235.89 (-0.06) 239.94 (-0.01) 715.98 (-0.02)
6efea4 235.52 (+0.01) 250.18 (+0.07) 241.21 (+0.02) 726.92 (+0.03)
4071ff 233.11 (-0.02) 233.42 (-0.00) 236.77 (+0.03) 703.31 (+0.00)
4071ff 237.14 (+0.02) 234.25 (+0.02) 230.34 (+0.01) 701.73 (+0.02)
870ba4 232.01 (-0.02) 228.72 (-0.03) 228.41 (-0.03) 689.14 (-0.03)
f5ca89 237.60 (+0.02) 236.93 (-0.02) 234.70 (-0.01) 709.24 (-0.00)
8bd565 233.50 (-0.01) 241.31 (+0.03) 236.50 (-0.01) 711.31 (+0.00)
dd22c8 235.17 (+0.02) 234.68 (-0.00) 238.09 (+0.01) 707.95 (+0.01)
299db9 229.64 (-0.01) 234.75 (-0.01) 235.89 (-0.00) 700.28 (-0.01)
93f3f4 231.41 (-0.04) 237.72 (+0.00) 235.89 (+0.01) 705.02 (-0.01)
f6e2e0 241.66 (+0.01) 237.20 (+0.01) 232.70 (-0.03) 711.56 (-0.00)
f6e2e0 239.81 (-0.02) 235.32 (+0.00) 239.07 (+0.02) 714.20 (+0.00)
f6e2e0 243.77 (+0.02) 234.65 (-0.02) 234.80 (-0.01) 713.23 (-0.01)
f1d960 239.84 (+0.01) 240.39 (+0.01) 238.31 (-0.01) 718.54 (+0.01)
4a9279 236.41 (-0.00) 237.11 (+0.00) 240.52 (+0.01) 714.03 (+0.00)
2e4bf7 236.47 (+0.01) 236.59 (+0.01) 237.48 (+0.02) 710.54 (+0.01)
ce8fbb 234.34 (-0.04) 233.60 (-0.03) 233.50 (+0.00) 701.44 (-0.02)
ce8fbb 242.95 (+0.04) 241.26 (+0.01) 233.16 (-0.03) 717.37 (+0.01)
ce8fbb 234.31 (-0.01) 239.51 (+0.00) 239.28 (-0.01) 713.10 (-0.00)
d1a0f2 237.23 (-0.02) 238.34 (-0.01) 241.05 (+0.02) 716.63 (-0.00)
ccf92d 241.92 (+0.04) 240.28 (+0.03) 236.52 (+0.01) 718.72 (+0.03)
02b8e0 233.42 (-0.01) 233.79 (-0.02) 233.43 (-0.01) 700.64 (-0.01)
7b9057 235.25 (+0.03) 238.69 (+0.03) 235.89 (-0.01) 709.83 (+0.02)
9cada8 228.52 (-0.01) 232.51 (-0.00) 237.39 (+0.02) 698.42 (+0.00)
9cada8 231.02 (+0.01) 232.77 (-0.02) 231.72 (-0.02) 695.51 (-0.01)
9cada8 229.06 (-0.01) 237.96 (+0.04) 236.01 (-0.00) 703.04 (+0.01)
a60f68 231.25 (+0.01) 229.82 (-0.02) 236.48 (-0.01) 697.55 (-0.01)
d19c52 228.44 (-0.02) 233.51 (-0.00) 239.52 (+0.03) 701.47 (+0.00)
000eb1 233.66 (+0.01) 233.91 (-0.01) 233.17 (-0.01) 700.75 (-0.00)
000eb1 231.54 (-0.03) 235.83 (-0.03) 234.88 (-0.02) 702.26 (-0.03)
f51b48 239.33 (-0.01) 241.89 (+0.00) 239.51 (+0.00) 720.73 (-0.00)
f51b48 240.56 (+0.05) 241.77 (+0.02) 239.35 (+0.02) 721.68 (+0.03)
f51b48 230.13 (+0.02) 238.10 (+0.01) 234.81 (+0.01) 703.05 (+0.01)
9f906f 225.31 (+0.02) 235.12 (+0.10) 233.03 (+0.09) 693.46 (+0.07)
0692ff 220.62 (+0.03) 212.82 (-0.00) 213.59 (-0.01) 647.02 (+0.01)
2caece 213.85 (-0.01) 213.82 (-0.03) 215.49 (+0.02) 643.16 (-0.01)
bc7d3c 215.82 (+0.00) 221.39 (+0.03) 211.92 (-0.02) 649.13 (+0.00)
2153d2 215.53 (-0.02) 215.52 (-0.00) 216.22 (-0.02) 647.27 (-0.01)
2153d2 220.73 (+0.01) 215.60 (-0.01) 219.77 (+0.02) 656.10 (+0.01)
2153d2 217.84 (+0.03) 218.48 (+0.01) 215.20 (-0.02) 651.53 (+0.01)
a1b062 210.58 (-0.03) 216.28 (-0.02) 219.08 (+0.02) 645.94 (-0.01)
1d9d7c 216.62 (-0.02) 220.30 (+0.02) 215.21 (+0.01) 652.14 (-0.00)
3569c1 221.83 (+0.01) 216.89 (+0.01) 213.70 (-0.02) 652.43 (-0.00)
eaff14 220.49 (+0.03) 215.23 (-0.00) 217.81 (-0.01) 653.52 (+0.01)
f383b4 213.62 (-0.01) 215.90 (+0.03) 220.11 (+0.03) 649.63 (+0.02)
f383b4 214.96 (+0.02) 208.88 (-0.00) 213.99 (+0.02) 637.83 (+0.01)
f383b4 210.23 (-0.00) 209.79 (+0.03) 210.57 (+0.00) 630.60 (+0.01)
a4256b 211.12 (-0.01) 203.28 (-0.06) 209.93 (+0.02) 624.33 (-0.02)
371493 212.45 (+0.05) 215.83 (+0.04) 206.28 (-0.02) 634.57 (+0.02)
c5c143 203.03 (-0.04) 208.02 (-0.00) 210.87 (+0.02) 621.92 (-0.01)
58fa4f 211.91 (+0.01) 208.67 (-0.02) 206.12 (-0.03) 626.70 (-0.01)
121d53 210.39 (-0.01) 213.11 (+0.01) 211.45 (+0.03) 634.95 (+0.01)
121d53 213.36 (+0.01) 211.32 (+0.00) 205.30 (-0.03) 629.98 (-0.01)
ec3a3a 212.04 (+0.01) 210.91 (-0.01) 211.68 (+0.01) 634.63 (+0.00)
96e783 209.88 (+0.00) 212.23 (+0.01) 210.26 (+0.01) 632.37 (+0.01)
567b71 209.27 (+0.00) 209.35 (-0.01) 208.74 (+0.01) 627.36 (+0.00)
847fc5 209.00 (-0.00) 210.47 (-0.02) 206.68 (-0.02) 626.16 (-0.01)
5e08b3 209.03 (+0.03) 214.67 (+0.03) 210.22 (+0.01) 633.93 (+0.02)
4d291d 203.52 (+0.00) 208.48 (+0.00) 208.16 (+0.01) 620.17 (+0.00)
4d291d 203.35 (-0.00) 207.72 (+0.03) 206.48 (+0.01) 617.55 (+0.01)
bf63f1 203.85 (+0.00) 201.10 (-0.01) 203.70 (-0.02) 608.65 (-0.01)
0a0958 202.93 (-0.02) 202.24 (-0.01) 207.19 (+0.02) 612.36 (-0.00)
aabca5 206.40 (+0.02) 204.29 (-0.01) 202.68 (-0.02) 613.36 (-0.00)
a4be54 202.21 (+0.00) 205.41 (+0.02) 207.40 (+0.02) 615.02 (+0.01)
a3d7ad 201.65 (-0.01) 200.81 (-0.01) 203.92 (+0.03) 606.39 (+0.01)
a3d7ad 202.74 (-0.00) 201.90 (-0.00) 198.24 (-0.03) 602.89 (-0.01)
8ba169 203.36 (+0.00) 202.11 (+0.02) 203.59 (-0.00) 609.05 (+0.01)
e5cc2f 202.76 (+0.01) 199.10 (-0.02) 203.89 (+0.02) 605.75 (+0.00)
c6b56d 200.82 (+0.00) 203.32 (+0.01) 200.18 (-0.01) 604.32 (-0.00)
e067cd 200.04 (+0.00) 202.11 (+0.01) 202.51 (+0.01) 604.66 (+0.01)
bce423 199.54 (-0.01) 199.44 (+0.01) 200.49 (-0.00) 599.47 (-0.00)
bce423 201.14 (-0.01) 198.39 (-0.03) 200.69 (-0.01) 600.22 (-0.02)
c28bfd 202.60 (-0.02) 204.89 (+0.01) 202.33 (-0.00) 609.82 (-0.01)
95bf19 206.90 (+0.01) 203.62 (-0.01) 202.58 (+0.01) 613.10 (+0.00)
95bf19 205.17 (-0.00) 205.10 (+0.02) 200.97 (+0.01) 611.24 (+0.01)
080752 205.33 (+0.03) 200.12 (-0.01) 198.99 (-0.03) 604.45 (-0.00)
23d5e2 199.74 (+0.02) 202.49 (+0.01) 204.14 (+0.03) 606.37 (+0.02)
23d5e2 196.13 (-0.03) 201.12 (+0.01) 198.75 (+0.02) 596.00 (+0.00)
8b710b 201.96 (+0.01) 199.20 (+0.01) 194.83 (-0.02) 595.99 (-0.00)
8c6e60 200.14 (-0.02) 197.60 (-0.00) 198.51 (+0.02) 596.25 (-0.00)
10dae7 203.66 (+0.01) 198.52 (-0.00) 195.22 (-0.02) 597.40 (-0.00)
4c4d3d 201.18 (-0.00) 198.71 (-0.00) 198.58 (-0.01) 598.47 (-0.00)
9f94d0 201.83 (+0.01) 198.77 (+0.00) 200.65 (-0.02) 601.26 (-0.00)
9f94d0 199.14 (+0.04) 197.99 (+0.07) 204.22 (+0.07) 601.35 (+0.06)
9f94d0 192.25 (+0.01) 185.42 (-0.03) 189.99 (+0.01) 567.66 (-0.00)
c700c7 190.41 (-0.02) 190.91 (+0.02) 187.55 (+0.00) 568.87 (+0.00)
42c6dd 194.34 (+0.03) 186.71 (+0.00) 187.35 (+0.01) 568.39 (+0.01)
f6bf7b 188.06 (+0.00) 186.55 (-0.00) 186.39 (+0.02) 561.00 (+0.01)
1137b5 187.61 (-0.01) 187.17 (-0.01) 183.11 (-0.02) 557.90 (-0.01)
1468c6 188.66 (+0.03) 188.38 (-0.02) 186.22 (+0.02) 563.26 (+0.01)
1468c6 183.69 (-0.03) 192.68 (+0.01) 183.00 (-0.03) 559.37 (-0.02)
c01f92 188.53 (-0.02) 190.96 (+0.05) 188.49 (+0.03) 567.98 (+0.02)
7ff591 191.69 (+0.04) 182.62 (-0.03) 183.11 (-0.03) 557.42 (-0.01)
5d4774 185.09 (-0.00) 187.52 (+0.00) 188.52 (+0.01) 561.13 (+0.00)
56d8c2 185.36 (+0.02) 187.41 (-0.00) 187.24 (-0.01) 560.01 (+0.00)
12e6f4 181.94 (-0.01) 188.01 (-0.01) 188.22 (+0.02) 558.16 (-0.00)
12e6f4 184.15 (+0.00) 189.38 (+0.02) 185.04 (-0.01) 558.56 (+0.01)
61194a 184.02 (-0.12) 185.32 (-0.13) 186.00 (-0.11) 555.34 (-0.12)
70ce01 209.54 (+0.02) 211.80 (-0.00) 209.59 (+0.01) 630.93 (+0.01)
c04c20 205.26 (-0.04) 212.02 (+0.00) 206.61 (-0.03) 623.88 (-0.02)
827ee1 214.20 (+0.02) 211.66 (+0.03) 212.41 (+0.01) 638.27 (+0.02)
22ae67 210.06 (+0.02) 204.71 (-0.04) 209.29 (+0.00) 624.07 (-0.01)
0f4458 206.79 (+0.01) 213.49 (+0.02) 209.20 (+0.01) 629.48 (+0.02)
0f4458 204.12 (-0.03) 208.50 (-0.00) 207.31 (+0.00) 619.94 (-0.01)
0f4458 210.01 (+0.02) 208.70 (+0.01) 207.20 (+0.02) 625.91 (+0.02)
b8a566 205.94 (-0.02) 207.38 (-0.03) 203.33 (-0.06) 616.66 (-0.04)
b8a566 209.42 (+0.05) 214.33 (+0.05) 215.37 (+0.03) 639.12 (+0.04)
9747e9 200.21 (+0.01) 203.81 (-0.00) 210.01 (+0.02) 614.03 (+0.01)
b50e07 199.17 (-0.04) 203.86 (-0.03) 206.44 (-0.02) 609.47 (-0.03)
6a57d5 208.39 (+0.02) 210.13 (+0.03) 211.29 (+0.04) 629.81 (+0.03)
c0480f 203.71 (-0.01) 203.11 (-0.03) 202.51 (-0.04) 609.33 (-0.02)
4f443c 204.92 (+0.02) 209.33 (+0.03) 209.87 (+0.03) 624.13 (+0.03)
4f443c 200.90 (+0.01) 204.11 (-0.01) 203.50 (+0.01) 608.52 (+0.00)
788823 198.95 (-0.44) 205.30 (-0.42) 201.91 (-0.43) 606.16 (-0.43)
c21104 352.14 (+0.69) 356.10 (+0.65) 354.20 (+0.65) 1062.43 (+0.66)
b9544a 208.12 (-0.00) 215.22 (+0.03) 214.99 (+0.01) 638.33 (+0.01)
33834c 208.13 (+0.07) 209.92 (+0.05) 212.53 (+0.06) 630.59 (+0.06)
521667 194.42 (+0.01) 200.80 (+0.01) 200.75 (+0.01) 595.97 (+0.01)
361648 192.87 (-0.01) 199.03 (+0.00) 199.70 (-0.02) 591.61 (-0.01)
fc0629 195.71 198.06 204.07 597.85

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query34]

platform: rds-aurora

revision Q34/1 Q34/2 Q34/3 total_duration
41aa62 251.17 (-0.00) 252.55 (+0.02) 248.53 (+0.01) 752.25 (+0.01)
7b5489 251.18 (-0.11) 247.51 (-0.11) 245.75 (-0.12) 744.44 (-0.12)
a23b07 283.56 (+0.13) 278.39 (+0.09) 279.99 (+0.12) 841.95 (+0.11)
cc2d00 250.52 (+0.08) 255.70 (+0.08) 250.63 (+0.05) 756.85 (+0.07)
ba9df2 232.06 (+0.10) 235.92 (+0.12) 237.58 (+0.14) 705.57 (+0.12)
a8f354 210.93 (+0.06) 209.91 (+0.04) 208.14 (+0.02) 628.98 (+0.04)
7feb0d 198.54 (-0.12) 202.28 (-0.12) 203.99 (-0.07) 604.82 (-0.10)
982fce 226.04 (+0.13) 229.39 (+0.12) 219.98 (+0.08) 675.42 (+0.11)
1f151d 200.29 (+0.00) 204.53 (+0.00) 203.39 (+0.01) 608.21 (+0.00)
ff1a1a 200.01 (-0.16) 204.01 (-0.15) 202.01 (-0.16) 606.03 (-0.16)
b1477b 238.04 (-0.01) 239.30 (-0.01) 241.82 (+0.01) 719.16 (-0.01)
1b947f 241.16 (-0.07) 242.19 (-0.05) 240.41 (-0.07) 723.76 (-0.07)
a21b55 259.04 (-0.00) 255.97 (+0.01) 259.61 (+0.02) 774.62 (+0.01)
4ba950 260.30 (+0.16) 254.39 (+0.11) 255.42 (+0.12) 770.11 (+0.13)
4e359d 225.03 (+0.01) 229.00 (+0.02) 228.98 (+0.02) 683.01 (+0.01)
3837fc 222.96 (+0.11) 224.80 (+0.11) 225.40 (+0.10) 673.17 (+0.11)
edcf4d 201.34 (+0.01) 203.17 (+0.05) 204.07 (+0.03) 608.59 (+0.03)
411c71 198.83 (-0.10) 193.31 (-0.10) 197.26 (-0.10) 589.41 (-0.10)
854348 220.74 (+0.02) 214.54 (+0.01) 219.27 (+0.01) 654.55 (+0.01)
7ba5c2 216.49 (-0.00) 213.38 (-0.02) 216.32 (+0.01) 646.19 (-0.00)
ebea29 216.94 (+0.02) 217.79 (+0.02) 214.32 (+0.02) 649.06 (+0.02)
22c890 212.04 (+0.03) 213.06 (+0.03) 211.03 (+0.02) 636.13 (+0.03)
f0b2e0 205.55 (+0.05) 207.49 (+0.07) 207.37 (+0.10) 620.40 (+0.07)
dec580 195.22 (+0.02) 194.29 (+0.04) 189.37 (+0.00) 578.88 (+0.02)
dec580 191.07 (-0.03) 187.58 (-0.02) 188.73 (-0.01) 567.37 (-0.02)
b1c2a6 197.56 (+0.03) 191.99 (-0.00) 190.63 (-0.01) 580.18 (+0.01)
931094 191.60 (-0.00) 192.14 (+0.00) 192.57 (-0.02) 576.32 (-0.01)
957acb 191.73 (+0.01) 191.75 (-0.01) 196.16 (+0.03) 579.65 (+0.01)
846532 189.70 (-0.01) 193.71 (-0.01) 191.23 (-0.00) 574.64 (-0.01)
d733bc 191.95 (+0.02) 196.09 (+0.02) 191.89 (+0.01) 579.93 (+0.02)
75ffe3 188.00 (+0.00) 191.52 (-0.00) 189.17 (-0.01) 568.69 (-0.00)
75ffe3 187.58 (-0.22) 192.37 (-0.21) 190.50 (-0.23) 570.44 (-0.22)
bf4623 239.35 (-0.01) 244.18 (+0.02) 247.23 (+0.04) 730.77 (+0.02)
b26c83 240.70 (-0.01) 239.50 (-0.02) 237.90 (-0.04) 718.10 (-0.02)
9d714a 243.45 (+0.03) 243.39 (+0.04) 247.39 (+0.04) 734.22 (+0.04)
6efea4 236.48 (+0.00) 233.61 (-0.02) 237.50 (-0.01) 707.58 (-0.01)
4071ff 235.56 (+0.03) 239.18 (+0.02) 239.20 (-0.00) 713.94 (+0.01)
4071ff 229.72 (-0.02) 233.77 (-0.01) 240.30 (+0.01) 703.78 (-0.01)
870ba4 235.35 (+0.01) 236.92 (-0.04) 236.83 (-0.03) 709.10 (-0.02)
f5ca89 233.20 (-0.02) 247.42 (+0.04) 243.70 (+0.02) 724.32 (+0.01)
8bd565 237.05 (-0.01) 237.61 (-0.01) 238.99 (-0.02) 713.65 (-0.01)
dd22c8 238.50 (+0.01) 239.68 (+0.02) 244.03 (+0.04) 722.20 (+0.02)
299db9 236.64 (-0.00) 234.08 (-0.01) 234.93 (+0.00) 705.65 (-0.00)
93f3f4 237.12 (+0.00) 236.71 (+0.00) 234.00 (-0.01) 707.83 (-0.00)
f6e2e0 236.23 (-0.04) 236.59 (-0.03) 235.28 (-0.03) 708.10 (-0.03)
f6e2e0 245.80 (+0.03) 244.01 (+0.03) 242.62 (+0.03) 732.43 (+0.03)
f6e2e0 238.32 (-0.01) 237.78 (-0.01) 235.49 (-0.03) 711.58 (-0.02)
f1d960 240.96 (+0.02) 240.28 (-0.00) 242.42 (-0.00) 723.66 (+0.00)
4a9279 237.01 (-0.02) 240.51 (-0.02) 242.59 (+0.01) 720.11 (-0.01)
2e4bf7 242.17 (+0.02) 245.67 (+0.03) 239.39 (+0.01) 727.24 (+0.02)
ce8fbb 238.27 (+0.01) 238.19 (-0.01) 237.06 (-0.01) 713.53 (-0.00)
ce8fbb 235.53 (-0.05) 240.42 (-0.00) 239.08 (-0.03) 715.03 (-0.03)
ce8fbb 247.56 (+0.00) 240.88 (+0.01) 246.19 (+0.03) 734.64 (+0.01)
d1a0f2 246.91 (+0.04) 238.11 (-0.02) 239.17 (-0.03) 724.19 (-0.00)
ccf92d 238.09 (+0.00) 241.77 (+0.01) 247.14 (+0.05) 727.00 (+0.02)
02b8e0 237.33 (-0.00) 239.59 (-0.02) 236.11 (-0.02) 713.04 (-0.01)
7b9057 237.70 (-0.01) 244.54 (+0.02) 241.00 (-0.00) 723.24 (+0.00)
9cada8 239.32 (+0.02) 239.45 (+0.02) 241.20 (+0.01) 719.98 (+0.02)
9cada8 234.11 (-0.00) 234.91 (+0.01) 239.73 (+0.03) 708.75 (+0.01)
9cada8 234.64 (+0.00) 233.71 (-0.01) 231.71 (-0.01) 700.06 (-0.01)
a60f68 234.03 (-0.02) 236.04 (+0.02) 234.99 (-0.00) 705.05 (-0.00)
d19c52 238.62 (+0.02) 232.18 (-0.03) 235.82 (-0.04) 706.63 (-0.02)
000eb1 234.05 (-0.04) 239.99 (+0.00) 245.38 (+0.02) 719.42 (-0.01)
000eb1 244.21 (+0.02) 238.90 (+0.00) 240.12 (+0.02) 723.22 (+0.01)
f51b48 240.10 (+0.00) 238.12 (-0.00) 235.90 (-0.00) 714.11 (-0.00)
f51b48 239.94 (+0.01) 238.96 (+0.01) 236.59 (-0.01) 715.49 (+0.00)
f51b48 238.41 (+0.03) 237.40 (+0.03) 238.53 (+0.03) 714.35 (+0.03)
9f906f 231.22 (+0.07) 231.10 (+0.05) 232.18 (+0.06) 694.51 (+0.06)
0692ff 216.51 (+0.01) 219.65 (+0.00) 219.34 (+0.02) 655.50 (+0.01)
2caece 214.41 (+0.01) 218.61 (+0.01) 214.08 (-0.01) 647.10 (-0.00)
bc7d3c 213.24 (-0.01) 216.61 (+0.01) 217.30 (-0.01) 647.15 (-0.00)
2153d2 215.42 (-0.01) 215.30 (-0.01) 219.02 (+0.00) 649.74 (-0.01)
2153d2 217.75 (+0.03) 218.11 (-0.02) 218.98 (-0.00) 654.85 (+0.00)
2153d2 212.27 (-0.00) 221.89 (+0.01) 219.57 (-0.02) 653.73 (-0.00)
a1b062 212.85 (-0.01) 219.49 (+0.00) 223.97 (+0.02) 656.31 (+0.00)
1d9d7c 215.17 (-0.01) 218.59 (-0.00) 220.60 (+0.02) 654.36 (+0.00)
3569c1 216.90 (-0.01) 219.61 (+0.01) 217.29 (+0.01) 653.81 (+0.00)
eaff14 218.09 (+0.02) 218.14 (+0.05) 215.97 (+0.01) 652.21 (+0.03)
f383b4 213.02 (-0.02) 208.73 (-0.03) 214.27 (+0.00) 636.03 (-0.02)
f383b4 218.44 (+0.04) 215.52 (+0.00) 213.70 (+0.01) 647.67 (+0.02)
f383b4 211.02 (-0.01) 214.96 (+0.04) 210.79 (+0.01) 636.77 (+0.01)
a4256b 212.15 (+0.00) 206.09 (-0.04) 209.61 (+0.01) 627.86 (-0.01)
371493 211.96 (+0.02) 213.69 (+0.00) 208.10 (-0.02) 633.74 (-0.00)
c5c143 207.91 (-0.03) 213.20 (-0.01) 213.23 (+0.00) 634.34 (-0.01)
58fa4f 214.92 (+0.04) 214.36 (+0.01) 212.42 (+0.01) 641.69 (+0.02)
121d53 206.63 (-0.02) 212.66 (+0.01) 210.89 (+0.03) 630.19 (+0.01)
121d53 210.22 (+0.01) 210.91 (+0.00) 203.82 (-0.05) 624.95 (-0.01)
ec3a3a 207.76 (-0.02) 210.15 (-0.00) 215.15 (+0.01) 633.06 (-0.00)
96e783 212.49 (-0.01) 210.45 (+0.01) 212.20 (+0.02) 635.14 (+0.00)
567b71 215.63 (+0.02) 208.59 (-0.02) 208.62 (-0.01) 632.84 (-0.00)
847fc5 210.76 (-0.03) 212.06 (-0.00) 210.34 (+0.01) 633.16 (-0.01)
5e08b3 216.81 (+0.03) 212.42 (+0.01) 208.17 (-0.00) 637.40 (+0.01)
4d291d 211.48 (+0.01) 211.33 (+0.00) 208.87 (+0.01) 631.68 (+0.01)
4d291d 209.02 (+0.03) 210.39 (+0.00) 207.25 (-0.01) 626.66 (+0.01)
bf63f1 203.62 (-0.02) 209.70 (-0.01) 209.19 (+0.01) 622.51 (-0.00)
0a0958 207.00 (-0.01) 211.22 (+0.01) 206.76 (+0.01) 624.99 (+0.00)
aabca5 208.16 (+0.02) 210.04 (-0.00) 205.58 (-0.00) 623.78 (+0.00)
a4be54 204.07 (-0.01) 211.08 (+0.00) 206.00 (-0.03) 621.15 (-0.01)
a3d7ad 205.44 (-0.00) 210.79 (+0.00) 212.28 (+0.02) 628.51 (+0.01)
a3d7ad 205.76 (+0.02) 209.96 (+0.01) 207.81 (+0.00) 623.53 (+0.01)
8ba169 201.66 (-0.02) 208.01 (-0.01) 207.61 (+0.00) 617.28 (-0.01)
e5cc2f 205.87 (+0.01) 210.38 (+0.02) 207.42 (+0.01) 623.67 (+0.01)
c6b56d 202.87 (-0.01) 205.61 (-0.00) 206.08 (+0.00) 614.57 (-0.00)
e067cd 204.66 (+0.03) 205.84 (+0.03) 205.50 (+0.01) 616.01 (+0.02)
bce423 199.66 (-0.01) 198.90 (-0.01) 203.90 (+0.01) 602.46 (-0.00)
bce423 201.61 (-0.01) 201.10 (-0.01) 202.56 (-0.03) 605.27 (-0.02)
c28bfd 203.61 (+0.01) 203.99 (+0.01) 209.03 (+0.05) 616.64 (+0.02)
95bf19 202.25 (-0.00) 202.89 (-0.01) 199.28 (-0.02) 604.42 (-0.01)
95bf19 203.14 (+0.00) 204.70 (+0.02) 203.83 (-0.00) 611.68 (+0.01)
080752 202.64 (+0.02) 200.62 (-0.02) 204.39 (-0.00) 607.65 (-0.00)
23d5e2 199.15 (-0.01) 204.10 (-0.01) 205.40 (+0.02) 608.65 (+0.00)
23d5e2 200.43 (-0.01) 205.62 (+0.02) 200.88 (+0.01) 606.94 (+0.01)
8b710b 201.63 (+0.02) 202.26 (+0.01) 198.12 (-0.02) 602.02 (+0.00)
8c6e60 197.67 (-0.01) 200.61 (+0.02) 202.00 (+0.01) 600.29 (+0.01)
10dae7 199.32 (+0.02) 197.57 (-0.01) 199.90 (+0.01) 596.80 (+0.01)
4c4d3d 195.65 (-0.03) 198.92 (-0.00) 197.82 (-0.02) 592.39 (-0.02)
9f94d0 200.95 (+0.01) 199.28 (+0.01) 202.60 (-0.02) 602.83 (+0.00)
9f94d0 198.73 (+0.05) 197.12 (+0.04) 206.02 (+0.07) 601.87 (+0.05)
9f94d0 189.12 (+0.01) 190.00 (-0.01) 192.34 (+0.00) 571.46 (-0.00)
c700c7 187.89 (-0.02) 192.48 (+0.03) 192.10 (+0.01) 572.48 (+0.01)
42c6dd 191.98 (-0.00) 187.59 (-0.00) 189.92 (+0.02) 569.49 (+0.00)
f6bf7b 192.75 (+0.04) 188.45 (-0.01) 186.50 (+0.00) 567.70 (+0.01)
1137b5 184.94 (-0.02) 190.07 (-0.01) 185.83 (-0.04) 560.84 (-0.02)
1468c6 188.06 (+0.01) 192.84 (+0.04) 193.97 (+0.05) 574.87 (+0.03)
1468c6 185.78 (+0.00) 185.87 (-0.00) 184.89 (-0.01) 556.55 (-0.00)
c01f92 185.72 (-0.00) 185.97 (-0.02) 187.48 (-0.04) 559.17 (-0.02)
7ff591 185.88 (+0.01) 190.56 (+0.04) 194.64 (+0.06) 571.08 (+0.04)
5d4774 184.02 (-0.04) 182.71 (-0.03) 183.39 (-0.03) 550.12 (-0.03)
56d8c2 191.81 (+0.02) 188.65 (+0.00) 188.15 (+0.01) 568.61 (+0.01)
12e6f4 188.20 (+0.01) 188.28 (+0.01) 186.92 (+0.01) 563.40 (+0.01)
12e6f4 185.76 (-0.02) 186.40 (-0.01) 184.75 (-0.04) 556.90 (-0.02)
61194a 189.18 (-0.11) 188.68 (-0.14) 191.61 (-0.12) 569.46 (-0.12)
70ce01 211.44 (+0.00) 218.73 (+0.04) 217.00 (+0.04) 647.18 (+0.03)
c04c20 210.85 (-0.02) 210.94 (-0.01) 209.25 (-0.02) 631.04 (-0.01)
827ee1 214.35 (+0.02) 213.32 (+0.04) 212.80 (+0.02) 640.48 (+0.02)
22ae67 210.81 (-0.01) 205.71 (-0.02) 208.98 (-0.02) 625.50 (-0.02)
0f4458 212.75 (+0.03) 209.91 (-0.01) 214.31 (+0.01) 636.97 (+0.01)
0f4458 205.68 (-0.01) 211.47 (+0.01) 211.23 (+0.02) 628.39 (+0.00)
0f4458 208.76 (-0.01) 209.39 (-0.01) 207.19 (-0.02) 625.34 (-0.01)
b8a566 211.00 (-0.02) 211.31 (-0.02) 211.11 (-0.04) 633.43 (-0.03)
b8a566 215.54 (+0.04) 216.47 (+0.04) 219.81 (+0.06) 651.82 (+0.05)
9747e9 207.75 (+0.00) 207.48 (+0.00) 208.20 (-0.00) 623.43 (+0.00)
b50e07 206.90 (-0.02) 206.91 (-0.03) 209.22 (-0.01) 623.03 (-0.02)
6a57d5 212.17 (+0.02) 212.83 (+0.03) 210.87 (+0.03) 635.87 (+0.02)
c0480f 208.98 (+0.00) 207.02 (-0.01) 205.68 (-0.01) 621.69 (-0.00)
4f443c 208.50 (+0.01) 209.17 (+0.02) 206.76 (-0.01) 624.43 (+0.01)
4f443c 206.42 (+0.00) 204.26 (-0.02) 209.68 (+0.01) 620.36 (+0.00)
788823 205.92 (-0.43) 207.68 (-0.43) 206.65 (-0.43) 620.25 (-0.43)
c21104 359.73 (+0.70) 365.88 (+0.72) 363.39 (+0.69) 1089.00 (+0.70)
b9544a 212.19 (-0.03) 212.69 (-0.00) 214.61 (-0.01) 639.50 (-0.02)
33834c 219.82 (+0.11) 213.61 (+0.05) 216.63 (+0.07) 650.05 (+0.08)
521667 197.80 (+0.01) 203.18 (+0.02) 202.01 (+0.02) 602.99 (+0.02)
361648 195.32 (-0.04) 199.08 (-0.02) 198.89 (-0.01) 593.29 (-0.02)
fc0629 203.01 202.72 201.46 607.18

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query35]

platform: rds-aurora

revision Q35/1 Q35/2 Q35/3 total_duration
41aa62 97.29 (+0.04) 90.33 (+0.02) 91.60 (+0.04) 279.21 (+0.03)
7b5489 93.26 (-0.09) 88.81 (-0.14) 88.28 (-0.14) 270.35 (-0.12)
a23b07 102.70 (+0.13) 102.77 (+0.14) 102.21 (+0.11) 307.68 (+0.13)
cc2d00 91.00 (+0.04) 90.22 (+0.07) 92.00 (+0.11) 273.22 (+0.07)
ba9df2 87.64 (+0.18) 84.28 (+0.19) 83.12 (+0.20) 255.05 (+0.19)
a8f354 74.02 (+0.10) 70.69 (+0.06) 69.22 (+0.00) 213.93 (+0.05)
7feb0d 67.51 (-0.15) 66.63 (-0.08) 69.18 (-0.07) 203.32 (-0.10)
982fce 79.73 (+0.18) 72.79 (+0.02) 74.13 (+0.08) 226.65 (+0.09)
1f151d 67.84 (-0.02) 71.46 (+0.06) 68.52 (-0.00) 207.83 (+0.01)
ff1a1a 68.93 (-0.17) 67.66 (-0.19) 68.64 (-0.12) 205.23 (-0.16)
b1477b 83.36 (-0.02) 83.27 (+0.06) 78.32 (-0.00) 244.95 (+0.01)
1b947f 84.65 (-0.06) 78.51 (-0.07) 78.48 (-0.07) 241.63 (-0.06)
a21b55 89.58 (-0.02) 84.16 (-0.06) 84.50 (-0.03) 258.24 (-0.04)
4ba950 91.38 (+0.17) 89.84 (+0.18) 87.26 (+0.19) 268.48 (+0.18)
4e359d 78.10 (-0.02) 76.33 (+0.04) 73.61 (-0.01) 228.05 (+0.00)
3837fc 79.59 (+0.17) 73.58 (+0.09) 74.20 (+0.06) 227.37 (+0.10)
edcf4d 68.11 (-0.00) 67.63 (+0.02) 70.17 (+0.01) 205.91 (+0.01)
411c71 68.19 (-0.08) 66.36 (-0.13) 69.33 (-0.06) 203.88 (-0.09)
854348 74.34 (+0.06) 76.47 (+0.08) 73.53 (+0.07) 224.34 (+0.07)
7ba5c2 69.93 (-0.03) 70.50 (+0.00) 68.92 (-0.03) 209.35 (-0.02)
ebea29 72.24 (+0.04) 70.33 (+0.03) 70.85 (-0.04) 213.43 (+0.01)
22c890 69.42 (-0.00) 68.58 (+0.03) 73.73 (+0.08) 211.73 (+0.04)
f0b2e0 69.42 (+0.06) 66.82 (+0.02) 68.08 (+0.05) 204.33 (+0.05)
dec580 65.36 (+0.02) 65.24 (+0.04) 64.68 (+0.04) 195.27 (+0.03)
dec580 64.26 (-0.04) 62.94 (-0.06) 62.40 (-0.04) 189.60 (-0.05)
b1c2a6 66.78 (+0.03) 67.21 (+0.05) 65.12 (+0.03) 199.11 (+0.04)
931094 64.86 (-0.03) 64.00 (-0.00) 63.39 (-0.04) 192.25 (-0.03)
957acb 67.14 (+0.04) 64.01 (-0.01) 66.10 (+0.06) 197.25 (+0.03)
846532 64.39 (-0.05) 64.93 (-0.03) 62.30 (-0.03) 191.62 (-0.03)
d733bc 67.65 (-0.01) 66.63 (+0.04) 64.00 (+0.01) 198.28 (+0.01)
75ffe3 68.08 (+0.06) 64.09 (+0.02) 63.37 (+0.00) 195.54 (+0.03)
75ffe3 64.47 (-0.22) 62.90 (-0.24) 63.08 (-0.21) 190.44 (-0.22)
bf4623 82.29 (-0.02) 82.75 (+0.07) 80.24 (+0.06) 245.28 (+0.04)
b26c83 83.57 (+0.08) 77.35 (-0.05) 75.47 (-0.04) 236.40 (-0.00)
9d714a 77.58 (-0.09) 81.05 (-0.03) 78.60 (-0.03) 237.24 (-0.05)
6efea4 84.87 (+0.09) 83.98 (+0.05) 81.34 (+0.03) 250.19 (+0.06)
4071ff 77.84 (-0.05) 79.80 (-0.02) 78.70 (-0.05) 236.35 (-0.04)
4071ff 82.15 (+0.05) 81.71 (+0.08) 82.79 (+0.03) 246.64 (+0.05)
870ba4 78.36 (-0.02) 75.99 (-0.01) 80.30 (-0.02) 234.65 (-0.02)
f5ca89 79.91 (-0.00) 76.61 (+0.00) 81.89 (+0.03) 238.42 (+0.01)
8bd565 80.07 (-0.01) 76.56 (-0.04) 79.53 (+0.03) 236.15 (-0.01)
dd22c8 80.89 (+0.01) 79.52 (-0.04) 77.05 (+0.04) 237.45 (+0.00)
299db9 79.70 (-0.03) 82.98 (+0.04) 73.90 (-0.02) 236.59 (-0.00)
93f3f4 82.12 (+0.08) 80.02 (+0.06) 75.40 (-0.02) 237.54 (+0.04)
f6e2e0 75.86 (-0.05) 75.82 (-0.03) 76.91 (-0.02) 228.60 (-0.03)
f6e2e0 80.09 (-0.03) 78.28 (-0.03) 78.31 (-0.04) 236.69 (-0.03)
f6e2e0 82.23 (-0.03) 80.29 (-0.01) 81.71 (+0.03) 244.23 (-0.00)
f1d960 84.52 (+0.05) 81.19 (-0.01) 79.22 (-0.03) 244.94 (+0.00)
4a9279 80.86 (-0.00) 81.95 (+0.06) 81.33 (-0.02) 244.14 (+0.01)
2e4bf7 81.07 (+0.06) 77.28 (+0.00) 83.03 (+0.09) 241.38 (+0.05)
ce8fbb 76.49 (-0.00) 76.98 (+0.01) 76.49 (-0.03) 229.97 (-0.01)
ce8fbb 76.55 (-0.05) 76.16 (-0.01) 78.51 (+0.04) 231.22 (-0.01)
ce8fbb 80.20 (-0.05) 77.01 (+0.00) 75.70 (-0.01) 232.92 (-0.02)
d1a0f2 84.37 (+0.01) 76.81 (-0.03) 76.46 (-0.02) 237.65 (-0.02)
ccf92d 83.61 (+0.02) 79.47 (+0.02) 78.31 (+0.04) 241.39 (+0.03)
02b8e0 82.04 (+0.03) 77.96 (-0.03) 75.40 (-0.05) 235.40 (-0.02)
7b9057 80.04 (+0.00) 80.19 (+0.04) 79.30 (-0.02) 239.53 (+0.01)
9cada8 79.90 (-0.02) 77.39 (+0.01) 81.01 (+0.06) 238.31 (+0.02)
9cada8 81.63 (+0.02) 76.79 (+0.00) 76.19 (-0.01) 234.62 (+0.00)
9cada8 80.34 (+0.03) 76.70 (-0.03) 77.29 (+0.03) 234.33 (+0.01)
a60f68 78.34 (-0.01) 79.33 (+0.00) 75.20 (+0.01) 232.87 (+0.00)
d19c52 78.85 (-0.02) 78.98 (-0.03) 74.59 (-0.07) 232.43 (-0.04)
000eb1 80.21 (-0.04) 81.48 (+0.07) 80.31 (+0.06) 242.00 (+0.03)
000eb1 83.31 (+0.03) 76.20 (-0.01) 76.03 (-0.03) 235.54 (-0.00)
f51b48 80.87 (+0.00) 77.32 (+0.02) 78.10 (-0.03) 236.29 (-0.00)
f51b48 80.64 (+0.03) 76.12 (+0.02) 80.61 (+0.05) 237.37 (+0.03)
f51b48 78.33 (-0.01) 74.71 (-0.01) 76.82 (-0.02) 229.86 (-0.01)
9f906f 79.27 (+0.09) 75.71 (+0.02) 78.06 (+0.11) 233.04 (+0.07)
0692ff 72.43 (-0.01) 74.54 (+0.05) 70.19 (+0.00) 217.16 (+0.01)
2caece 73.19 (-0.02) 71.28 (+0.01) 70.09 (-0.04) 214.56 (-0.02)
bc7d3c 74.74 (+0.06) 70.90 (-0.04) 73.37 (-0.03) 219.01 (-0.01)
2153d2 70.65 (-0.05) 74.19 (+0.07) 75.87 (+0.07) 220.72 (+0.03)
2153d2 74.71 (+0.05) 69.30 (-0.01) 71.03 (+0.01) 215.04 (+0.02)
2153d2 71.13 (-0.03) 69.82 (-0.06) 70.23 (-0.04) 211.18 (-0.04)
a1b062 72.95 (-0.00) 73.89 (+0.04) 73.02 (+0.01) 219.86 (+0.01)
1d9d7c 73.04 (+0.03) 71.39 (-0.02) 72.50 (+0.02) 216.93 (+0.01)
3569c1 70.75 (-0.05) 72.87 (+0.03) 71.23 (+0.00) 214.85 (-0.01)
eaff14 74.18 (+0.03) 70.78 (+0.00) 71.11 (-0.01) 216.07 (+0.01)
f383b4 72.22 (+0.01) 70.69 (-0.05) 71.70 (+0.03) 214.62 (-0.00)
f383b4 71.22 (+0.01) 74.79 (+0.10) 69.32 (-0.03) 215.33 (+0.02)
f383b4 70.67 (+0.00) 68.18 (-0.01) 71.52 (+0.04) 210.36 (+0.01)
a4256b 70.33 (-0.02) 69.20 (-0.01) 68.68 (+0.00) 208.21 (-0.01)
371493 71.47 (+0.07) 69.90 (+0.04) 68.66 (-0.01) 210.04 (+0.03)
c5c143 66.96 (-0.10) 67.42 (-0.03) 69.09 (-0.03) 203.48 (-0.06)
58fa4f 74.63 (+0.10) 69.59 (+0.02) 71.42 (+0.05) 215.64 (+0.05)
121d53 68.11 (-0.01) 68.38 (+0.02) 68.32 (+0.02) 204.82 (+0.01)
121d53 69.04 (-0.00) 66.96 (-0.03) 67.00 (-0.01) 203.01 (-0.02)
ec3a3a 69.36 (-0.00) 69.10 (-0.03) 67.98 (-0.03) 206.43 (-0.02)
96e783 69.65 (+0.02) 71.56 (+0.06) 69.91 (+0.04) 211.12 (+0.04)
567b71 68.33 (-0.04) 67.80 (-0.01) 66.92 (-0.02) 203.05 (-0.02)
847fc5 71.22 (+0.05) 68.43 (-0.02) 67.98 (+0.01) 207.63 (+0.01)
5e08b3 67.92 (+0.01) 69.69 (+0.05) 67.09 (-0.05) 204.70 (+0.00)
4d291d 67.36 (+0.02) 66.48 (-0.00) 70.52 (+0.04) 204.36 (+0.02)
4d291d 65.81 (-0.03) 66.81 (-0.02) 67.89 (+0.04) 200.52 (-0.01)
bf63f1 67.79 (+0.02) 68.49 (+0.01) 65.57 (-0.02) 201.86 (+0.01)
0a0958 66.17 (-0.01) 67.80 (+0.01) 66.88 (+0.01) 200.84 (-0.00)
aabca5 67.13 (-0.02) 67.28 (+0.00) 66.44 (-0.02) 200.85 (-0.01)
a4be54 68.19 (-0.00) 67.21 (-0.03) 68.01 (-0.00) 203.40 (-0.01)
a3d7ad 68.49 (+0.01) 69.00 (+0.04) 68.21 (+0.05) 205.70 (+0.03)
a3d7ad 68.04 (+0.01) 66.58 (-0.01) 64.99 (-0.05) 199.62 (-0.02)
8ba169 67.63 (+0.04) 67.19 (-0.02) 68.65 (+0.01) 203.47 (+0.01)
e5cc2f 65.16 (-0.06) 68.30 (+0.01) 67.77 (+0.01) 201.23 (-0.01)
c6b56d 69.66 (-0.05) 67.41 (-0.02) 67.09 (+0.01) 204.16 (-0.02)
e067cd 73.09 (+0.13) 68.58 (-0.01) 66.71 (-0.02) 208.38 (+0.03)
bce423 64.66 (-0.02) 69.39 (-0.02) 67.81 (+0.02) 201.86 (-0.01)
bce423 65.92 (-0.04) 71.11 (+0.07) 66.49 (+0.02) 203.52 (+0.02)
c28bfd 68.55 (+0.00) 66.28 (+0.01) 65.23 (+0.02) 200.06 (+0.01)
95bf19 68.26 (+0.02) 65.49 (+0.01) 63.83 (-0.06) 197.58 (-0.01)
95bf19 67.04 (-0.01) 65.12 (-0.05) 68.20 (+0.02) 200.36 (-0.01)
080752 68.02 (+0.01) 68.38 (+0.03) 66.98 (+0.01) 203.38 (+0.02)
23d5e2 67.25 (+0.01) 66.10 (+0.02) 66.21 (+0.02) 199.56 (+0.02)
23d5e2 66.28 (-0.02) 64.79 (-0.01) 64.60 (+0.00) 195.67 (-0.01)
8b710b 67.93 (+0.04) 65.60 (+0.01) 64.49 (-0.02) 198.02 (+0.01)
8c6e60 65.45 (+0.02) 64.80 (-0.02) 65.87 (+0.02) 196.13 (+0.01)
10dae7 64.08 (-0.07) 65.81 (+0.10) 64.70 (+0.08) 194.60 (+0.03)
4c4d3d 68.80 (+0.08) 59.94 (-0.13) 59.79 (-0.04) 188.53 (-0.03)
9f94d0 63.95 (-0.03) 68.90 (+0.06) 62.23 (+0.04) 195.07 (+0.02)
9f94d0 65.61 (+0.07) 65.03 (+0.05) 60.00 (-0.06) 190.64 (+0.02)
9f94d0 61.45 (-0.00) 61.66 (-0.01) 63.52 (+0.04) 186.64 (+0.01)
c700c7 61.75 (-0.02) 61.98 (+0.10) 61.30 (+0.06) 185.04 (+0.04)
42c6dd 63.15 (-0.03) 56.39 (+0.06) 57.71 (+0.04) 177.25 (+0.02)
f6bf7b 65.40 (+0.05) 53.36 (-0.05) 55.62 (+0.04) 174.38 (+0.02)
1137b5 62.12 (-0.01) 55.94 (-0.10) 53.57 (-0.02) 171.64 (-0.04)
1468c6 62.83 (+0.01) 61.82 (+0.11) 54.91 (+0.01) 179.57 (+0.04)
1468c6 62.13 (+0.01) 55.69 (+0.02) 54.58 (+0.01) 172.41 (+0.01)
c01f92 61.58 (+0.01) 54.42 (-0.12) 53.90 (-0.04) 169.90 (-0.05)
7ff591 60.89 (+0.02) 61.94 (+0.05) 56.30 (+0.03) 179.13 (+0.03)
5d4774 59.92 (-0.11) 58.78 (-0.10) 54.82 (-0.14) 173.53 (-0.12)
56d8c2 66.96 (+0.02) 65.31 (+0.03) 64.01 (+0.00) 196.28 (+0.02)
12e6f4 65.75 (-0.04) 63.30 (-0.01) 63.90 (+0.02) 192.95 (-0.01)
12e6f4 68.80 (+0.00) 64.01 (-0.08) 62.90 (-0.04) 195.71 (-0.04)
61194a 68.55 (-0.08) 69.81 (-0.05) 65.29 (-0.10) 203.65 (-0.08)
70ce01 74.36 (+0.02) 73.61 (+0.04) 72.36 (+0.02) 220.33 (+0.03)
c04c20 72.57 (-0.08) 70.78 (-0.02) 70.72 (-0.03) 214.08 (-0.05)
827ee1 79.09 (+0.04) 72.28 (-0.00) 72.82 (+0.01) 224.19 (+0.02)
22ae67 75.87 (+0.02) 72.41 (-0.04) 71.98 (+0.02) 220.26 (-0.00)
0f4458 74.29 (-0.04) 75.69 (+0.05) 70.82 (-0.03) 220.79 (-0.00)
0f4458 77.17 (+0.02) 71.89 (+0.04) 72.82 (+0.05) 221.87 (+0.03)
0f4458 75.96 (+0.01) 69.28 (-0.03) 69.61 (-0.03) 214.85 (-0.02)
b8a566 75.52 (+0.01) 71.11 (-0.02) 71.59 (-0.05) 218.22 (-0.02)
b8a566 75.11 (+0.04) 72.69 (+0.00) 75.23 (+0.06) 223.03 (+0.03)
9747e9 71.94 (-0.00) 72.43 (+0.01) 71.28 (+0.02) 215.65 (+0.01)
b50e07 72.30 (-0.03) 71.38 (-0.00) 69.82 (-0.01) 213.50 (-0.02)
6a57d5 74.48 (-0.00) 71.43 (+0.01) 70.87 (+0.03) 216.78 (+0.01)
c0480f 74.50 (+0.02) 70.90 (+0.04) 68.88 (-0.03) 214.28 (+0.01)
4f443c 73.12 (-0.04) 67.88 (-0.05) 71.23 (+0.00) 212.24 (-0.03)
4f443c 76.00 (+0.05) 71.49 (+0.04) 70.90 (+0.02) 218.39 (+0.04)
788823 72.12 (-0.34) 68.71 (-0.32) 69.58 (-0.35) 210.42 (-0.34)
c21104 109.92 (+0.48) 100.98 (+0.39) 106.81 (+0.47) 317.71 (+0.45)
b9544a 74.29 (-0.05) 72.70 (-0.02) 72.52 (+0.01) 219.51 (-0.02)
33834c 78.48 (+0.12) 74.09 (+0.11) 71.68 (+0.06) 224.26 (+0.10)
521667 70.08 (-0.00) 66.77 (+0.00) 67.70 (+0.02) 204.56 (+0.01)
361648 70.15 (-0.00) 66.50 (-0.03) 66.66 (-0.01) 203.31 (-0.02)
fc0629 70.47 68.63 67.61 206.72

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query36]

platform: rds-aurora

revision Q36/1 Q36/2 Q36/3 total_duration
41aa62 36.74 (+0.08) 32.80 (+0.05) 28.19 (-0.03) 97.74 (+0.04)
7b5489 34.05 (-0.11) 31.18 (-0.14) 29.01 (-0.01) 94.25 (-0.09)
a23b07 38.27 (+0.12) 36.07 (+0.19) 29.31 (+0.08) 103.66 (+0.13)
cc2d00 34.13 (+0.11) 30.30 (+0.03) 27.12 (+0.01) 91.54 (+0.05)
ba9df2 30.72 (+0.12) 29.43 (+0.17) 26.98 (+0.17) 87.13 (+0.15)
a8f354 27.51 (+0.05) 25.12 (+0.06) 22.99 (-0.00) 75.62 (+0.04)
7feb0d 26.12 (-0.11) 23.61 (-0.11) 23.00 (-0.06) 72.73 (-0.09)
982fce 29.34 (+0.08) 26.42 (+0.02) 24.58 (+0.17) 80.35 (+0.08)
1f151d 27.21 (+0.03) 25.91 (+0.13) 21.09 (-0.11) 74.22 (+0.02)
ff1a1a 26.30 (-0.18) 23.02 (-0.26) 23.77 (+0.04) 73.09 (-0.15)
b1477b 32.04 (+0.00) 31.10 (+0.10) 22.89 (-0.14) 86.03 (-0.01)
1b947f 31.96 (-0.07) 28.22 (-0.08) 26.49 (-0.04) 86.67 (-0.06)
a21b55 34.50 (+0.05) 30.63 (-0.07) 27.47 (+0.05) 92.61 (+0.01)
4ba950 32.89 (+0.09) 33.09 (+0.19) 26.11 (-0.06) 92.09 (+0.07)
4e359d 30.31 (+0.07) 27.69 (-0.06) 27.80 (+0.13) 85.80 (+0.04)
3837fc 28.28 (+0.02) 29.47 (+0.25) 24.62 (+0.14) 82.37 (+0.13)
edcf4d 27.71 (-0.02) 23.52 (-0.03) 21.60 (-0.04) 72.83 (-0.03)
411c71 28.41 (-0.01) 24.30 (-0.18) 22.42 (-0.03) 75.13 (-0.08)
854348 28.75 (-0.02) 29.48 (+0.15) 23.22 (-0.05) 81.44 (+0.03)
7ba5c2 29.24 (+0.02) 25.71 (-0.06) 24.47 (+0.16) 79.42 (+0.03)
ebea29 28.75 (+0.02) 27.41 (+0.09) 21.10 (-0.08) 77.25 (+0.01)
22c890 28.23 (+0.14) 25.22 (+0.02) 22.88 (+0.01) 76.33 (+0.06)
f0b2e0 24.83 (-0.03) 24.77 (+0.11) 22.61 (+0.06) 72.22 (+0.04)
dec580 25.54 (+0.05) 22.27 (-0.10) 21.40 (+0.01) 69.21 (-0.01)
dec580 24.22 (-0.05) 24.61 (+0.02) 21.09 (+0.06) 69.92 (+0.01)
b1c2a6 25.41 (-0.01) 24.11 (-0.00) 19.90 (-0.08) 69.42 (-0.03)
931094 25.77 (-0.04) 24.17 (+0.02) 21.72 (-0.03) 71.67 (-0.02)
957acb 26.89 (+0.04) 23.79 (-0.06) 22.31 (+0.07) 72.99 (+0.01)
846532 25.74 (+0.01) 25.42 (+0.12) 20.90 (-0.00) 72.06 (+0.04)
d733bc 25.56 (+0.02) 22.67 (-0.06) 20.91 (+0.05) 69.14 (+0.00)
75ffe3 25.06 (-0.09) 24.10 (-0.00) 19.92 (-0.07) 69.08 (-0.05)
75ffe3 27.46 (-0.12) 24.11 (-0.19) 21.42 (-0.14) 73.00 (-0.15)
bf4623 31.13 (-0.03) 29.79 (+0.01) 24.89 (-0.09) 85.81 (-0.04)
b26c83 32.20 (+0.01) 29.63 (+0.03) 27.49 (+0.01) 89.33 (+0.02)
9d714a 31.80 (-0.00) 28.69 (-0.10) 27.09 (+0.06) 87.58 (-0.02)
6efea4 31.91 (-0.00) 31.90 (+0.17) 25.62 (+0.08) 89.43 (+0.08)
4071ff 32.04 (+0.01) 27.31 (-0.07) 23.69 (-0.06) 83.04 (-0.04)
4071ff 31.87 (-0.02) 29.30 (-0.03) 25.11 (-0.02) 86.27 (-0.02)
870ba4 32.69 (+0.04) 30.08 (-0.06) 25.71 (-0.03) 88.48 (-0.02)
f5ca89 31.56 (-0.01) 32.00 (+0.03) 26.51 (+0.02) 90.07 (+0.01)
8bd565 32.04 (-0.04) 31.10 (+0.09) 25.88 (-0.00) 89.01 (+0.02)
dd22c8 33.21 (+0.11) 28.48 (-0.04) 25.91 (+0.00) 87.59 (+0.03)
299db9 29.80 (-0.04) 29.60 (-0.03) 25.89 (+0.00) 85.28 (-0.02)
93f3f4 31.02 (-0.08) 30.60 (+0.15) 25.83 (-0.02) 87.45 (+0.01)
f6e2e0 33.57 (-0.01) 26.63 (-0.13) 26.38 (+0.13) 86.59 (-0.02)
f6e2e0 33.81 (+0.01) 30.71 (-0.01) 23.40 (-0.11) 87.92 (-0.03)
f6e2e0 33.43 (+0.03) 31.00 (+0.03) 26.32 (+0.09) 90.75 (+0.05)
f1d960 32.52 (-0.05) 30.01 (+0.03) 24.17 (-0.00) 86.69 (-0.01)
4a9279 34.32 (+0.06) 29.18 (-0.04) 24.21 (-0.04) 87.71 (-0.01)
2e4bf7 32.36 (-0.04) 30.53 (+0.00) 25.28 (+0.02) 88.17 (-0.01)
ce8fbb 33.61 (+0.06) 30.48 (+0.03) 24.83 (-0.06) 88.92 (+0.01)
ce8fbb 31.79 (-0.01) 29.73 (+0.05) 26.49 (-0.05) 88.02 (-0.00)
ce8fbb 31.97 (-0.03) 28.43 (-0.02) 27.98 (+0.02) 88.38 (-0.01)
d1a0f2 32.91 (-0.03) 29.00 (-0.05) 27.32 (-0.00) 89.23 (-0.03)
ccf92d 33.83 (-0.03) 30.38 (+0.02) 27.32 (-0.05) 91.54 (-0.02)
02b8e0 34.81 (+0.08) 29.91 (-0.01) 28.80 (+0.03) 93.52 (+0.04)
7b9057 32.27 (+0.05) 30.13 (+0.02) 27.84 (+0.14) 90.24 (+0.07)
9cada8 30.66 (-0.02) 29.41 (+0.03) 24.49 (-0.11) 84.56 (-0.03)
9cada8 31.15 (-0.01) 28.50 (+0.02) 27.50 (+0.02) 87.16 (+0.01)
9cada8 31.55 (+0.02) 27.99 (+0.01) 26.89 (+0.12) 86.43 (+0.05)
a60f68 30.94 (+0.05) 27.59 (-0.12) 23.94 (-0.10) 82.47 (-0.06)
d19c52 29.34 (-0.09) 31.51 (+0.03) 26.73 (+0.03) 87.58 (-0.01)
000eb1 32.22 (-0.01) 30.60 (+0.04) 26.01 (-0.07) 88.83 (-0.01)
000eb1 32.45 (+0.07) 29.40 (+0.00) 27.96 (+0.10) 89.82 (+0.06)
f51b48 30.31 (+0.02) 29.39 (-0.02) 25.32 (+0.00) 85.03 (-0.00)
f51b48 29.84 (-0.08) 30.09 (-0.00) 25.31 (-0.11) 85.24 (-0.06)
f51b48 32.40 (+0.06) 30.09 (+0.06) 28.43 (+0.13) 90.92 (+0.08)
9f906f 30.53 (+0.04) 28.52 (+0.06) 25.09 (+0.01) 84.14 (+0.04)
0692ff 29.40 (+0.05) 26.78 (-0.03) 24.83 (-0.01) 81.01 (+0.00)
2caece 27.95 (-0.06) 27.72 (+0.07) 25.10 (+0.11) 80.78 (+0.03)
bc7d3c 29.66 (+0.02) 25.88 (-0.09) 22.61 (-0.07) 78.16 (-0.04)
2153d2 28.95 (-0.04) 28.30 (+0.12) 24.42 (-0.05) 81.66 (+0.00)
2153d2 30.31 (-0.02) 25.20 (-0.05) 25.83 (+0.02) 81.34 (-0.02)
2153d2 30.90 (+0.02) 26.42 (-0.00) 25.29 (+0.02) 82.62 (+0.01)
a1b062 30.44 (+0.00) 26.50 (+0.01) 24.68 (+0.02) 81.62 (+0.01)
1d9d7c 30.35 (+0.08) 26.22 (-0.11) 24.16 (+0.01) 80.73 (-0.01)
3569c1 28.08 (-0.02) 29.42 (+0.19) 24.01 (+0.05) 81.52 (+0.07)
eaff14 28.65 (+0.03) 24.80 (-0.10) 22.79 (+0.05) 76.25 (-0.01)
f383b4 27.93 (+0.02) 27.49 (-0.01) 21.71 (-0.07) 77.13 (-0.02)
f383b4 27.32 (+0.03) 27.73 (+0.07) 23.29 (+0.04) 78.34 (+0.05)
f383b4 26.44 (+0.00) 25.91 (-0.05) 22.40 (-0.14) 74.75 (-0.06)
a4256b 26.44 (-0.01) 27.29 (+0.03) 25.90 (+0.07) 79.64 (+0.03)
371493 26.63 (-0.00) 26.51 (+0.00) 24.29 (+0.01) 77.43 (+0.00)
c5c143 26.73 (-0.02) 26.40 (+0.06) 23.98 (-0.03) 77.12 (+0.00)
58fa4f 27.37 (-0.06) 25.00 (-0.03) 24.61 (-0.03) 76.97 (-0.04)
121d53 29.03 (+0.02) 25.88 (-0.03) 25.30 (+0.07) 80.22 (+0.02)
121d53 28.37 (-0.02) 26.59 (-0.02) 23.61 (-0.05) 78.58 (-0.03)
ec3a3a 29.08 (+0.02) 27.08 (+0.02) 24.81 (+0.02) 80.97 (+0.02)
96e783 28.55 (+0.02) 26.42 (+0.03) 24.30 (+0.05) 79.28 (+0.03)
567b71 28.06 (-0.01) 25.59 (-0.05) 23.10 (-0.00) 76.75 (-0.02)
847fc5 28.26 (+0.00) 26.88 (+0.04) 23.19 (+0.00) 78.33 (+0.01)
5e08b3 28.25 (-0.04) 25.82 (+0.05) 23.11 (+0.02) 77.18 (+0.01)
4d291d 29.36 (+0.10) 24.59 (-0.14) 22.71 (+0.06) 76.66 (+0.00)
4d291d 26.71 (-0.02) 28.50 (+0.14) 21.41 (-0.01) 76.62 (+0.04)
bf63f1 27.38 (-0.06) 24.92 (-0.04) 21.68 (-0.05) 73.98 (-0.05)
0a0958 29.26 (+0.04) 25.91 (-0.03) 22.80 (-0.05) 77.98 (-0.01)
aabca5 28.01 (-0.07) 26.84 (+0.06) 23.87 (-0.01) 78.72 (-0.01)
a4be54 30.26 (+0.09) 25.29 (-0.05) 24.13 (+0.08) 79.68 (+0.04)
a3d7ad 27.87 (+0.07) 26.62 (+0.08) 22.30 (-0.01) 76.78 (+0.05)
a3d7ad 26.09 (-0.07) 24.70 (-0.05) 22.48 (-0.04) 73.27 (-0.06)
8ba169 28.13 (+0.06) 26.00 (+0.07) 23.51 (+0.00) 77.65 (+0.04)
e5cc2f 26.66 (-0.06) 24.40 (-0.09) 23.42 (+0.02) 74.49 (-0.05)
c6b56d 28.22 (-0.00) 26.80 (+0.05) 23.00 (-0.07) 78.02 (-0.01)
e067cd 28.26 (+0.05) 25.53 (+0.06) 24.68 (+0.11) 78.47 (+0.07)
bce423 26.81 (+0.04) 24.02 (-0.05) 22.22 (-0.01) 73.05 (-0.01)
bce423 25.74 (-0.07) 25.39 (-0.03) 22.50 (-0.03) 73.63 (-0.05)
c28bfd 27.74 (+0.03) 26.27 (+0.04) 23.20 (+0.06) 77.21 (+0.04)
95bf19 26.94 (-0.02) 25.37 (-0.04) 21.93 (-0.06) 74.24 (-0.04)
95bf19 27.62 (+0.01) 26.33 (+0.04) 23.40 (+0.20) 77.35 (+0.07)
080752 27.35 (-0.12) 25.22 (+0.01) 19.58 (-0.11) 72.15 (-0.08)
23d5e2 31.15 (+0.13) 25.00 (-0.10) 21.91 (-0.11) 78.06 (-0.02)
23d5e2 27.57 (+0.00) 27.68 (+0.10) 24.69 (+0.14) 79.94 (+0.08)
8b710b 27.44 (+0.05) 25.20 (-0.02) 21.62 (+0.03) 74.27 (+0.02)
8c6e60 26.23 (+0.00) 25.67 (+0.01) 21.02 (-0.04) 72.92 (-0.01)
10dae7 26.14 (-0.06) 25.31 (+0.65) 22.00 (+0.32) 73.45 (+0.23)
4c4d3d 27.87 (+0.02) 15.38 (+0.08) 16.62 (-0.08) 59.87 (+0.00)
9f94d0 27.27 (-0.02) 14.30 (+0.01) 18.10 (+0.13) 59.67 (+0.03)
9f94d0 27.85 (+0.07) 14.21 (-0.46) 15.99 (-0.07) 58.05 (-0.17)
9f94d0 26.05 (+0.47) 26.30 (+0.89) 17.19 (+0.12) 69.54 (+0.48)
c700c7 17.75 (-0.31) 13.91 (-0.07) 15.38 (+0.11) 47.04 (-0.14)
42c6dd 25.71 (-0.01) 14.89 (-0.03) 13.90 (+0.01) 54.50 (-0.01)
f6bf7b 25.98 (+0.10) 15.38 (+0.04) 13.80 (-0.00) 55.15 (+0.06)
1137b5 23.68 (+0.39) 14.78 (+0.06) 13.81 (+0.05) 52.27 (+0.18)
1468c6 17.06 (-0.32) 13.98 (-0.06) 13.12 (-0.03) 44.17 (-0.17)
1468c6 24.96 (-0.03) 14.83 (-0.01) 13.57 (-0.02) 53.35 (-0.02)
c01f92 25.66 (+0.46) 14.98 (+0.03) 13.82 (+0.04) 54.47 (+0.20)
7ff591 17.55 (+0.09) 14.58 (-0.06) 13.32 (-0.03) 45.46 (+0.00)
5d4774 16.16 (-0.36) 15.49 (-0.35) 13.71 (-0.32) 45.37 (-0.35)
56d8c2 25.34 (-0.02) 24.01 (+0.09) 20.29 (-0.03) 69.64 (+0.01)
12e6f4 25.84 (+0.02) 22.10 (-0.07) 20.99 (+0.10) 68.94 (+0.01)
12e6f4 25.25 (-0.01) 23.80 (-0.03) 19.08 (-0.04) 68.14 (-0.03)
61194a 25.55 (-0.13) 24.61 (-0.08) 19.86 (-0.21) 70.03 (-0.14)
70ce01 29.28 (+0.05) 26.67 (+0.01) 25.22 (+0.11) 81.17 (+0.06)
c04c20 27.82 (-0.02) 26.40 (-0.03) 22.64 (+0.02) 76.86 (-0.01)
827ee1 28.33 (+0.02) 27.12 (+0.11) 22.29 (+0.02) 77.75 (+0.05)
22ae67 27.68 (-0.02) 24.48 (-0.07) 21.82 (-0.07) 73.98 (-0.05)
0f4458 28.24 (-0.00) 26.42 (+0.00) 23.48 (+0.04) 78.14 (+0.01)
0f4458 28.37 (+0.04) 26.40 (+0.00) 22.60 (+0.00) 77.37 (+0.01)
0f4458 27.37 (-0.09) 26.39 (-0.03) 22.50 (-0.05) 76.26 (-0.06)
b8a566 30.22 (+0.03) 27.12 (+0.02) 23.78 (+0.10) 81.12 (+0.05)
b8a566 29.23 (+0.03) 26.62 (+0.08) 21.68 (-0.07) 77.53 (+0.01)
9747e9 28.46 (+0.00) 24.70 (-0.04) 23.32 (+0.06) 76.48 (+0.00)
b50e07 28.39 (+0.00) 25.78 (-0.06) 22.02 (-0.04) 76.18 (-0.03)
6a57d5 28.27 (+0.05) 27.31 (+0.10) 22.98 (+0.03) 78.56 (+0.06)
c0480f 26.93 (+0.05) 24.77 (+0.02) 22.31 (-0.03) 74.02 (+0.01)
4f443c 25.72 (-0.06) 24.31 (+0.02) 23.00 (+0.10) 73.03 (+0.01)
4f443c 27.40 (+0.01) 23.93 (+0.01) 20.97 (-0.06) 72.29 (-0.01)
788823 27.01 (-0.56) 23.77 (-0.58) 22.23 (-0.64) 73.01 (-0.59)
c21104 61.61 (+1.26) 56.29 (+1.15) 61.12 (+1.65) 179.01 (+1.34)
b9544a 27.24 (-0.01) 26.20 (+0.01) 23.09 (-0.03) 76.52 (-0.01)
33834c 27.44 (+0.03) 25.89 (+0.04) 23.70 (+0.10) 77.04 (+0.06)
521667 26.59 (-0.01) 24.90 (-0.01) 21.49 (-0.03) 72.98 (-0.02)
361648 26.83 (-0.04) 25.20 (+0.02) 22.09 (+0.04) 74.11 (+0.00)
fc0629 28.00 24.68 21.23 73.91

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query37]

platform: rds-aurora

revision Q37/1 Q37/2 Q37/3 total_duration
41aa62 16.85 (-0.05) 18.23 (+0.06) 13.26 (+0.07) 48.34 (+0.02)
7b5489 17.67 (-0.09) 17.17 (-0.16) 12.44 (-0.05) 47.28 (-0.11)
a23b07 19.32 (+0.16) 20.52 (-0.05) 13.09 (+0.05) 52.93 (+0.04)
cc2d00 16.69 (+0.18) 21.52 (+0.31) 12.51 (+0.09) 50.72 (+0.21)
ba9df2 14.14 (+0.10) 16.37 (+0.13) 11.43 (+0.15) 41.94 (+0.12)
a8f354 12.83 (-0.05) 14.53 (+0.15) 9.98 (+0.01) 37.35 (+0.04)
7feb0d 13.56 (-0.05) 12.60 (-0.01) 9.88 (-0.19) 36.05 (-0.08)
982fce 14.23 (+0.05) 12.77 (-0.00) 12.23 (-0.01) 39.23 (+0.01)
1f151d 13.55 (-0.03) 12.78 (+0.02) 12.41 (+0.25) 38.74 (+0.06)
ff1a1a 14.03 (-0.19) 12.50 (-0.15) 9.90 (-0.19) 36.44 (-0.18)
b1477b 17.32 (+0.19) 14.72 (-0.01) 12.30 (+0.10) 44.34 (+0.09)
1b947f 14.61 (+0.02) 14.89 (-0.18) 11.22 (-0.09) 40.72 (-0.09)
a21b55 14.28 (-0.27) 18.09 (+0.25) 12.38 (-0.06) 44.75 (-0.05)
4ba950 19.54 (+0.29) 14.52 (+0.02) 13.17 (-0.05) 47.23 (+0.09)
4e359d 15.13 (+0.14) 14.19 (-0.07) 13.93 (+0.19) 43.24 (+0.08)
3837fc 13.31 (+0.01) 15.21 (+0.25) 11.68 (+0.11) 40.20 (+0.12)
edcf4d 13.22 (+0.09) 12.13 (-0.10) 10.50 (+0.08) 35.86 (+0.02)
411c71 12.13 (-0.06) 13.41 (-0.19) 9.68 (-0.20) 35.22 (-0.15)
854348 12.88 (+0.05) 16.56 (+0.10) 12.09 (+0.10) 41.53 (+0.08)
7ba5c2 12.28 (-0.15) 15.11 (+0.12) 10.97 (-0.13) 38.35 (-0.05)
ebea29 14.37 (-0.06) 13.49 (+0.03) 12.59 (-0.10) 40.45 (-0.04)
22c890 15.24 (+0.19) 13.10 (-0.06) 13.98 (+0.39) 42.33 (+0.15)
f0b2e0 12.84 (-0.02) 13.92 (+0.13) 10.02 (+0.01) 36.78 (+0.04)
dec580 13.15 (+0.12) 12.33 (-0.13) 9.87 (+0.00) 35.35 (-0.01)
dec580 11.75 (-0.14) 14.18 (+0.17) 9.83 (-0.06) 35.76 (-0.01)
b1c2a6 13.63 (+0.12) 12.09 (+0.03) 10.42 (+0.02) 36.15 (+0.06)
931094 12.13 (+0.02) 11.76 (-0.15) 10.20 (-0.03) 34.10 (-0.06)
957acb 11.90 (+0.01) 13.82 (+0.01) 10.48 (+0.02) 36.21 (+0.01)
846532 11.81 (-0.11) 13.71 (+0.11) 10.28 (+0.08) 35.80 (+0.02)
d733bc 13.34 (-0.00) 12.31 (+0.00) 9.51 (-0.18) 35.17 (-0.06)
75ffe3 13.35 (+0.16) 12.27 (-0.09) 11.62 (+0.17) 37.25 (+0.07)
75ffe3 11.52 (-0.27) 13.48 (-0.24) 9.95 (-0.21) 34.95 (-0.24)
bf4623 15.74 (+0.12) 17.79 (+0.18) 12.62 (-0.05) 46.16 (+0.09)
b26c83 14.01 (+0.01) 15.09 (-0.07) 13.22 (+0.12) 42.32 (+0.01)
9d714a 13.94 (-0.03) 16.22 (-0.06) 11.82 (-0.02) 41.97 (-0.04)
6efea4 14.40 (-0.11) 17.29 (+0.28) 12.01 (-0.07) 43.70 (+0.03)
4071ff 16.19 (-0.04) 13.50 (-0.01) 12.93 (-0.00) 42.62 (-0.02)
4071ff 16.83 (+0.21) 13.63 (-0.20) 12.97 (+0.18) 43.43 (+0.04)
870ba4 13.89 (-0.12) 17.00 (+0.07) 11.03 (-0.07) 41.92 (-0.04)
f5ca89 15.72 (+0.06) 15.91 (-0.03) 11.89 (+0.04) 43.53 (+0.02)
8bd565 14.82 (+0.01) 16.47 (+0.07) 11.42 (-0.17) 42.72 (-0.03)
dd22c8 14.64 (-0.15) 15.39 (+0.04) 13.82 (+0.04) 43.86 (-0.03)
299db9 17.28 (+0.02) 14.86 (-0.03) 13.24 (-0.01) 45.38 (-0.00)
93f3f4 16.89 (+0.16) 15.28 (+0.13) 13.31 (-0.04) 45.49 (+0.09)
f6e2e0 14.51 (-0.08) 13.51 (-0.18) 13.80 (+0.08) 41.82 (-0.07)
f6e2e0 15.72 (+0.12) 16.47 (+0.03) 12.81 (+0.05) 45.01 (+0.07)
f6e2e0 14.06 (-0.00) 15.98 (+0.02) 12.18 (+0.01) 42.22 (+0.01)
f1d960 14.12 (-0.21) 15.69 (+0.08) 12.03 (-0.09) 41.84 (-0.08)
4a9279 17.89 (+0.05) 14.51 (+0.03) 13.16 (+0.13) 45.56 (+0.07)
2e4bf7 16.97 (+0.05) 14.11 (-0.11) 11.69 (-0.03) 42.76 (-0.03)
ce8fbb 16.23 (+0.07) 15.92 (+0.06) 12.06 (-0.11) 44.21 (+0.01)
ce8fbb 15.23 (-0.02) 15.02 (+0.04) 13.60 (-0.02) 43.84 (-0.00)
ce8fbb 15.54 (-0.05) 14.50 (+0.07) 13.91 (-0.02) 43.95 (-0.00)
d1a0f2 16.32 (+0.17) 13.59 (-0.24) 14.19 (+0.22) 44.10 (+0.02)
ccf92d 13.95 (-0.13) 17.89 (+0.18) 11.61 (-0.17) 43.45 (-0.04)
02b8e0 16.06 (+0.05) 15.11 (-0.11) 13.91 (+0.08) 45.07 (+0.00)
7b9057 15.25 (+0.09) 16.91 (+0.01) 12.87 (+0.21) 45.04 (+0.09)
9cada8 13.93 (-0.02) 16.77 (+0.04) 10.60 (-0.08) 41.30 (-0.01)
9cada8 14.14 (+0.06) 16.20 (-0.01) 11.49 (+0.04) 41.84 (+0.03)
9cada8 13.29 (-0.22) 16.37 (+0.14) 11.03 (-0.20) 40.69 (-0.10)
a60f68 16.96 (+0.04) 14.42 (-0.17) 13.85 (+0.09) 45.24 (-0.02)
d19c52 16.36 (+0.10) 17.32 (+0.03) 12.70 (-0.02) 46.38 (+0.04)
000eb1 14.83 (-0.11) 16.88 (+0.10) 12.91 (-0.09) 44.62 (-0.04)
000eb1 16.68 (+0.21) 15.38 (-0.15) 14.19 (+0.16) 46.25 (+0.05)
f51b48 13.75 (-0.02) 18.12 (+0.08) 12.27 (+0.11) 44.14 (+0.05)
f51b48 14.06 (-0.04) 16.82 (+0.08) 11.08 (-0.05) 41.96 (+0.00)
f51b48 14.63 (+0.05) 15.57 (+0.14) 11.64 (-0.22) 41.84 (-0.02)
9f906f 13.91 (+0.04) 13.70 (-0.02) 15.01 (+0.35) 42.62 (+0.11)
0692ff 13.33 (+0.06) 13.94 (-0.16) 11.08 (+0.02) 38.36 (-0.04)
2caece 12.53 (-0.18) 16.69 (+0.24) 10.91 (-0.12) 40.13 (-0.02)
bc7d3c 15.22 (+0.17) 13.48 (-0.15) 12.43 (+0.15) 41.14 (+0.04)
2153d2 13.03 (-0.11) 15.79 (+0.13) 10.81 (-0.19) 39.63 (-0.05)
2153d2 14.64 (+0.08) 14.00 (-0.05) 13.29 (+0.20) 41.93 (+0.06)
2153d2 13.58 (+0.05) 14.80 (+0.01) 11.09 (+0.03) 39.47 (+0.03)
a1b062 12.96 (-0.06) 14.70 (+0.01) 10.72 (-0.03) 38.38 (-0.02)
1d9d7c 13.75 (+0.04) 14.50 (-0.08) 11.10 (+0.05) 39.35 (-0.00)
3569c1 13.23 (-0.14) 15.70 (+0.19) 10.58 (-0.06) 39.51 (-0.01)
eaff14 15.30 (+0.10) 13.22 (+0.03) 11.30 (-0.12) 39.82 (+0.00)
f383b4 13.95 (+0.21) 12.83 (-0.17) 12.86 (+0.25) 39.64 (+0.06)
f383b4 11.53 (-0.12) 15.49 (+0.02) 10.31 (+0.05) 37.34 (-0.02)
f383b4 13.04 (-0.08) 15.19 (+0.15) 9.82 (-0.04) 38.05 (+0.01)
a4256b 14.22 (+0.03) 13.22 (-0.03) 10.18 (-0.18) 37.61 (-0.06)
371493 13.83 (+0.01) 13.61 (-0.01) 12.38 (+0.19) 39.82 (+0.05)
c5c143 13.75 (-0.16) 13.70 (+0.03) 10.39 (-0.22) 37.85 (-0.12)
58fa4f 16.33 (+0.32) 13.30 (-0.12) 13.27 (+0.25) 42.90 (+0.13)
121d53 12.37 (-0.02) 15.09 (-0.02) 10.59 (-0.04) 38.05 (-0.03)
121d53 12.63 (-0.10) 15.33 (+0.10) 11.08 (+0.10) 39.04 (+0.03)
ec3a3a 14.04 (+0.09) 13.89 (-0.08) 10.12 (-0.09) 38.05 (-0.03)
96e783 12.84 (+0.00) 15.09 (+0.13) 11.18 (-0.03) 39.12 (+0.04)
567b71 12.80 (+0.03) 13.40 (-0.07) 11.52 (-0.05) 37.72 (-0.03)
847fc5 12.46 (-0.06) 14.40 (+0.06) 12.11 (+0.05) 38.97 (+0.01)
5e08b3 13.29 (-0.07) 13.62 (+0.02) 11.58 (-0.04) 38.49 (-0.03)
4d291d 14.25 (-0.06) 13.38 (+0.06) 12.00 (+0.01) 39.64 (-0.00)
4d291d 15.17 (+0.11) 12.67 (-0.00) 11.91 (-0.02) 39.75 (+0.03)
bf63f1 13.61 (+0.05) 12.70 (+0.03) 12.20 (-0.01) 38.51 (+0.02)
0a0958 12.99 (+0.00) 12.30 (-0.20) 12.30 (+0.20) 37.59 (-0.02)
aabca5 12.95 (-0.01) 15.29 (+0.02) 10.23 (-0.08) 38.47 (-0.02)
a4be54 13.14 (-0.16) 15.00 (+0.14) 11.12 (-0.07) 39.26 (-0.04)
a3d7ad 15.73 (+0.21) 13.20 (+0.07) 11.94 (+0.06) 40.87 (+0.11)
a3d7ad 13.05 (+0.07) 12.32 (-0.11) 11.31 (+0.09) 36.68 (+0.01)
8ba169 12.19 (-0.09) 13.78 (+0.10) 10.37 (+0.07) 36.35 (+0.02)
e5cc2f 13.44 (+0.07) 12.49 (-0.21) 9.68 (-0.04) 35.61 (-0.08)
c6b56d 12.57 (+0.05) 15.90 (+0.04) 10.11 (-0.04) 38.58 (+0.02)
e067cd 11.95 (-0.12) 15.28 (+0.19) 10.51 (-0.00) 37.74 (+0.02)
bce423 13.55 (+0.09) 12.88 (-0.09) 10.51 (-0.01) 36.94 (-0.01)
bce423 12.46 (-0.01) 14.23 (+0.02) 10.61 (-0.01) 37.30 (+0.00)
c28bfd 12.57 (+0.05) 13.92 (-0.01) 10.70 (-0.03) 37.19 (+0.01)
95bf19 11.97 (-0.04) 14.00 (-0.07) 11.01 (+0.10) 36.98 (-0.01)
95bf19 12.45 (+1.35) 14.99 (+2.49) 9.99 (+0.96) 37.43 (+1.55)
080752 5.30 (-0.64) 4.29 (-0.67) 5.09 (-0.58) 14.69 (-0.63)
23d5e2 14.67 (+0.11) 12.98 (-0.05) 12.00 (+0.08) 39.65 (+0.04)
23d5e2 13.26 (+0.00) 13.61 (+0.13) 11.11 (-0.05) 37.97 (+0.03)
8b710b 13.21 (+1.62) 12.10 (+1.88) 11.72 (+1.10) 37.03 (+1.50)
8c6e60 5.04 (-0.58) 4.20 (-0.71) 5.59 (-0.46) 14.84 (-0.60)
10dae7 12.14 (+1.92) 14.53 (+2.32) 10.38 (+1.46) 37.04 (+1.90)
4c4d3d 4.16 (+0.00) 4.38 (-0.09) 4.22 (-0.08) 12.76 (-0.06)
9f94d0 4.15 (-0.05) 4.80 (+0.09) 4.60 (+0.05) 13.55 (+0.03)
9f94d0 4.36 (-0.12) 4.42 (-0.06) 4.40 (-0.01) 13.17 (-0.07)
9f94d0 4.96 (+0.21) 4.69 (+0.12) 4.43 (+0.03) 14.09 (+0.12)
c700c7 4.09 (-0.00) 4.19 (+0.05) 4.31 (+0.08) 12.59 (+0.04)
42c6dd 4.11 (-0.04) 3.98 (+0.02) 3.99 (-0.19) 12.08 (-0.08)
f6bf7b 4.29 (+0.08) 3.91 (-0.22) 4.90 (+0.17) 13.10 (-0.01)
1137b5 3.97 (-0.25) 5.03 (+0.09) 4.18 (+0.00) 13.18 (-0.06)
1468c6 5.26 (+0.32) 4.60 (+0.12) 4.17 (-0.16) 14.03 (+0.07)
1468c6 3.98 (-0.01) 4.10 (-0.09) 4.98 (+0.12) 13.06 (+0.01)
c01f92 4.04 (-0.14) 4.50 (-0.04) 4.44 (+0.05) 12.97 (-0.05)
7ff591 4.72 (-0.08) 4.68 (+0.01) 4.21 (+0.00) 13.62 (-0.02)
5d4774 5.14 (-0.60) 4.63 (-0.63) 4.19 (-0.54) 13.97 (-0.60)
56d8c2 12.81 (-0.08) 12.62 (-0.20) 9.20 (-0.09) 34.63 (-0.13)
12e6f4 13.98 (+0.11) 15.70 (+0.24) 10.08 (-0.03) 39.76 (+0.11)
12e6f4 12.65 (+0.05) 12.63 (+0.01) 10.40 (-0.06) 35.68 (+0.00)
61194a 12.04 (-0.12) 12.49 (-0.17) 11.09 (+0.04) 35.62 (-0.09)
70ce01 13.67 (-0.00) 15.01 (+0.11) 10.67 (-0.04) 39.35 (+0.02)
c04c20 13.73 (-0.02) 13.57 (-0.04) 11.12 (-0.03) 38.42 (-0.03)
827ee1 14.01 (-0.02) 14.20 (+0.13) 11.48 (+0.00) 39.69 (+0.04)
22ae67 14.33 (+0.18) 12.57 (-0.14) 11.43 (+0.06) 38.33 (+0.02)
0f4458 12.20 (-0.16) 14.63 (-0.09) 10.78 (-0.05) 37.60 (-0.10)
0f4458 14.44 (+0.13) 16.02 (+0.08) 11.38 (+0.06) 41.83 (+0.09)
0f4458 12.78 (+0.07) 14.79 (-0.12) 10.71 (+0.00) 38.28 (-0.03)
b8a566 11.98 (-0.17) 16.76 (+0.13) 10.71 (-0.06) 39.45 (-0.03)
b8a566 14.46 (+0.10) 14.80 (+0.03) 11.40 (+0.18) 40.66 (+0.09)
9747e9 13.16 (+0.05) 14.40 (+0.10) 9.68 (-0.07) 37.25 (+0.04)
b50e07 12.49 (-0.03) 13.10 (-0.10) 10.38 (+0.09) 35.97 (-0.03)
6a57d5 12.87 (+0.03) 14.61 (-0.04) 9.56 (-0.04) 37.04 (-0.02)
c0480f 12.48 (-0.18) 15.28 (+0.18) 9.92 (+0.00) 37.68 (-0.01)
4f443c 15.29 (+0.07) 13.00 (+0.05) 9.87 (-0.04) 38.16 (+0.03)
4f443c 14.29 (+0.03) 12.39 (+0.05) 10.33 (-0.07) 37.00 (+0.01)
788823 13.87 (-0.66) 11.81 (-0.73) 11.10 (-0.73) 36.78 (-0.71)
c21104 40.88 (+2.24) 44.02 (+2.55) 40.97 (+2.56) 125.87 (+2.45)
b9544a 12.62 (-0.29) 12.41 (-0.13) 11.49 (+0.18) 36.52 (-0.13)
33834c 17.83 (+0.36) 14.21 (-0.04) 9.78 (-0.05) 41.82 (+0.09)
521667 13.14 (+0.04) 14.79 (-0.01) 10.29 (+0.10) 38.21 (+0.04)
361648 12.60 (-0.07) 14.90 (+0.20) 9.38 (-0.18) 36.89 (-0.01)
fc0629 13.61 12.42 11.40 37.43

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query38]

platform: rds-aurora

revision Q38/1 Q38/2 Q38/3 total_duration
41aa62 16.49 (+0.08) 9.48 (-0.01) 13.41 (+0.11) 39.38 (+0.07)
7b5489 15.24 (-0.15) 9.58 (+0.04) 12.11 (-0.19) 36.93 (-0.12)
a23b07 17.92 (+0.12) 9.22 (+0.12) 14.87 (+0.27) 42.01 (+0.17)
cc2d00 15.97 (+0.11) 8.26 (+0.06) 11.75 (+0.01) 35.98 (+0.06)
ba9df2 14.40 (+0.11) 7.83 (+0.00) 11.61 (+0.04) 33.83 (+0.06)
a8f354 13.03 (-0.02) 7.80 (+0.06) 11.21 (+0.21) 32.04 (+0.07)
7feb0d 13.24 (+0.20) 7.33 (-0.33) 9.28 (-0.20) 29.85 (-0.11)
982fce 11.04 (-0.04) 10.90 (+0.42) 11.67 (+0.06) 33.61 (+0.12)
1f151d 11.44 (-0.12) 7.67 (-0.05) 11.02 (+0.11) 30.13 (-0.03)
ff1a1a 12.94 (+0.12) 8.09 (-0.24) 9.92 (-0.10) 30.95 (-0.07)
b1477b 11.57 (-0.21) 10.67 (+0.23) 11.01 (-0.02) 33.26 (-0.03)
1b947f 14.59 (-0.00) 8.67 (+0.03) 11.19 (-0.21) 34.45 (-0.08)
a21b55 14.59 (+0.25) 8.46 (-0.25) 14.20 (+0.17) 37.25 (+0.06)
4ba950 11.71 (-0.05) 11.22 (+0.42) 12.17 (+0.06) 35.10 (+0.11)
4e359d 12.31 (+0.06) 7.91 (-0.15) 11.50 (+0.09) 31.73 (+0.00)
3837fc 11.65 (-0.16) 9.34 (+0.21) 10.59 (-0.02) 31.59 (-0.03)
edcf4d 13.92 (+0.17) 7.70 (-0.00) 10.80 (+0.13) 32.43 (+0.11)
411c71 11.86 (-0.13) 7.74 (-0.01) 9.58 (+0.00) 29.18 (-0.06)
854348 13.66 (-0.00) 7.81 (-0.05) 9.57 (-0.05) 31.03 (-0.03)
7ba5c2 13.67 (+0.12) 8.19 (+0.06) 10.07 (-0.14) 31.93 (+0.01)
ebea29 12.15 (+0.05) 7.70 (-0.03) 11.68 (-0.02) 31.54 (+0.00)
22c890 11.57 (-0.06) 7.91 (+0.07) 11.95 (+0.22) 31.44 (+0.06)
f0b2e0 12.33 (-0.00) 7.40 (+0.00) 9.79 (+0.08) 29.52 (+0.02)
dec580 12.37 (+0.11) 7.40 (-0.08) 9.08 (+0.02) 28.85 (+0.03)
dec580 11.15 (+0.04) 8.07 (+0.11) 8.91 (-0.04) 28.13 (+0.03)
b1c2a6 10.74 (+0.08) 7.26 (-0.00) 9.29 (-0.14) 27.30 (-0.03)
931094 9.97 (-0.18) 7.29 (-0.05) 10.80 (+0.13) 28.06 (-0.05)
957acb 12.21 (+0.21) 7.64 (-0.11) 9.59 (+0.07) 29.44 (+0.07)
846532 10.08 (-0.18) 8.56 (+0.06) 8.92 (-0.01) 27.57 (-0.06)
d733bc 12.30 (+0.02) 8.11 (+0.11) 8.98 (-0.16) 29.40 (-0.02)
75ffe3 12.09 (+0.20) 7.31 (-0.18) 10.75 (+0.13) 30.15 (+0.06)
75ffe3 10.04 (-0.27) 8.91 (-0.07) 9.47 (-0.06) 28.43 (-0.15)
bf4623 13.79 (+0.21) 9.62 (+0.15) 10.11 (-0.08) 33.52 (+0.09)
b26c83 11.43 (-0.22) 8.37 (+0.02) 11.05 (+0.02) 30.85 (-0.08)
9d714a 14.60 (+0.08) 8.20 (-0.04) 10.80 (+0.06) 33.60 (+0.04)
6efea4 13.54 (+0.17) 8.51 (-0.11) 10.17 (-0.11) 32.22 (-0.01)
4071ff 11.53 (-0.03) 9.59 (+0.04) 11.40 (-0.12) 32.52 (-0.05)
4071ff 11.92 (-0.10) 9.26 (-0.00) 12.90 (+0.29) 34.09 (+0.05)
870ba4 13.25 (-0.01) 9.27 (+0.16) 10.01 (-0.25) 32.52 (-0.07)
f5ca89 13.45 (-0.03) 8.01 (-0.05) 13.37 (+0.10) 34.83 (+0.01)
8bd565 13.92 (+0.12) 8.42 (-0.08) 12.19 (+0.01) 34.53 (+0.03)
dd22c8 12.43 (+0.07) 9.14 (+0.10) 12.09 (-0.18) 33.65 (-0.03)
299db9 11.66 (-0.08) 8.31 (-0.07) 14.72 (+0.22) 34.69 (+0.03)
93f3f4 12.66 (+0.09) 8.96 (-0.11) 12.02 (+0.21) 33.64 (+0.06)
f6e2e0 11.65 (-0.14) 10.11 (+0.10) 9.91 (-0.03) 31.66 (-0.04)
f6e2e0 13.54 (+0.03) 9.21 (+0.11) 10.18 (-0.11) 32.93 (+0.00)
f6e2e0 13.11 (+0.13) 8.32 (-0.08) 11.46 (-0.02) 32.90 (+0.01)
f1d960 11.65 (-0.09) 9.06 (-0.25) 11.73 (-0.05) 32.44 (-0.13)
4a9279 12.84 (+0.04) 12.01 (+0.46) 12.29 (-0.13) 37.15 (+0.07)
2e4bf7 12.40 (-0.09) 8.22 (-0.20) 14.11 (+0.40) 34.73 (+0.02)
ce8fbb 13.67 (+0.09) 10.28 (+0.28) 10.09 (-0.16) 34.04 (+0.04)
ce8fbb 12.50 (+0.04) 8.03 (-0.09) 12.08 (+0.10) 32.61 (+0.02)
ce8fbb 12.04 (+0.05) 8.82 (+0.10) 11.00 (-0.15) 31.86 (-0.02)
d1a0f2 11.51 (-0.21) 7.99 (+0.03) 12.90 (+0.27) 32.40 (-0.00)
ccf92d 14.64 (+0.20) 7.76 (-0.11) 10.12 (-0.09) 32.52 (+0.02)
02b8e0 12.21 (-0.09) 8.70 (-0.02) 11.12 (+0.06) 32.04 (-0.03)
7b9057 13.47 (+0.04) 8.88 (+0.02) 10.53 (-0.01) 32.88 (+0.02)
9cada8 12.94 (-0.08) 8.69 (+0.01) 10.68 (-0.07) 32.31 (-0.05)
9cada8 14.05 (+0.01) 8.64 (+0.07) 11.47 (-0.06) 34.16 (-0.00)
9cada8 13.95 (+0.20) 8.11 (-0.08) 12.15 (+0.06) 34.22 (+0.07)
a60f68 11.58 (+0.01) 8.81 (-0.01) 11.51 (-0.09) 31.91 (-0.03)
d19c52 11.41 (-0.16) 8.89 (-0.00) 12.64 (+0.25) 32.94 (+0.01)
000eb1 13.57 (-0.02) 8.90 (+0.01) 10.08 (-0.17) 32.55 (-0.06)
000eb1 13.88 (-0.04) 8.80 (+0.07) 12.09 (+0.12) 34.77 (+0.04)
f51b48 14.48 (-0.01) 8.19 (+0.01) 10.81 (+0.02) 33.48 (+0.00)
f51b48 14.60 (+0.09) 8.09 (-0.15) 10.64 (+0.15) 33.34 (+0.04)
f51b48 13.41 (+0.05) 9.51 (+0.05) 9.24 (-0.10) 32.16 (+0.00)
9f906f 12.80 (-0.03) 9.03 (+0.05) 10.30 (+0.02) 32.13 (+0.00)
0692ff 13.26 (+0.16) 8.59 (-0.02) 10.12 (+0.08) 31.97 (+0.08)
2caece 11.40 (+0.11) 8.80 (+0.09) 9.40 (-0.20) 29.61 (-0.01)
bc7d3c 10.24 (-0.20) 8.06 (+0.02) 11.71 (+0.04) 30.02 (-0.06)
2153d2 12.73 (+0.09) 7.90 (+0.02) 11.27 (-0.00) 31.91 (+0.04)
2153d2 11.63 (-0.02) 7.72 (-0.20) 11.29 (+0.15) 30.65 (-0.02)
2153d2 11.86 (-0.08) 9.68 (+0.21) 9.81 (+0.01) 31.35 (+0.02)
a1b062 12.93 (+0.14) 8.01 (-0.17) 9.67 (-0.11) 30.61 (-0.04)
1d9d7c 11.34 (-0.10) 9.69 (+0.21) 10.84 (+0.05) 31.87 (+0.03)
3569c1 12.67 (+0.10) 8.02 (+0.00) 10.31 (-0.13) 30.99 (-0.01)
eaff14 11.52 (+0.08) 8.00 (+0.10) 11.79 (+0.16) 31.31 (+0.11)
f383b4 10.63 (+0.02) 7.30 (-0.18) 10.21 (+0.06) 28.14 (-0.03)
f383b4 10.38 (-0.14) 8.90 (+0.15) 9.59 (-0.08) 28.88 (-0.04)
f383b4 12.13 (+0.02) 7.71 (-0.05) 10.38 (+0.04) 30.22 (+0.01)
a4256b 11.93 (-0.02) 8.12 (+0.02) 9.98 (-0.10) 30.03 (-0.04)
371493 12.20 (-0.05) 7.94 (+0.06) 11.08 (+0.16) 31.22 (+0.04)
c5c143 12.87 (+0.16) 7.49 (-0.11) 9.58 (-0.24) 29.94 (-0.07)
58fa4f 11.05 (-0.01) 8.39 (-0.06) 12.61 (+0.32) 32.06 (+0.08)
121d53 11.16 (-0.27) 8.93 (+0.12) 9.59 (-0.10) 29.67 (-0.13)
121d53 15.24 (+0.16) 7.99 (+0.04) 10.71 (+0.09) 33.94 (+0.11)
ec3a3a 13.09 (+0.05) 7.71 (-0.01) 9.83 (-0.04) 30.63 (+0.00)
96e783 12.47 (+0.16) 7.82 (-0.07) 10.29 (-0.10) 30.58 (-0.00)
567b71 10.75 (-0.16) 8.38 (+0.11) 11.49 (+0.13) 30.62 (+0.00)
847fc5 12.74 (+0.01) 7.56 (-0.16) 10.20 (+0.02) 30.50 (-0.04)
5e08b3 12.66 (+0.10) 9.01 (+0.23) 10.02 (-0.11) 31.69 (+0.05)
4d291d 11.54 (+0.03) 7.32 (+0.00) 11.30 (+0.03) 30.16 (+0.02)
4d291d 11.24 (-0.00) 7.30 (-0.04) 10.95 (-0.10) 29.48 (-0.05)
bf63f1 11.24 (+0.05) 7.59 (+0.01) 12.12 (+0.02) 30.95 (+0.03)
0a0958 10.66 (-0.18) 7.52 (-0.01) 11.89 (+0.12) 30.08 (-0.04)
aabca5 12.98 (+0.03) 7.62 (+0.03) 10.58 (-0.00) 31.19 (+0.02)
a4be54 12.64 (-0.01) 7.42 (+0.00) 10.59 (-0.04) 30.65 (-0.02)
a3d7ad 12.73 (+0.10) 7.39 (-0.01) 11.08 (+0.12) 31.21 (+0.08)
a3d7ad 11.55 (+0.09) 7.44 (-0.28) 9.91 (+0.04) 28.90 (-0.05)
8ba169 10.57 (-0.20) 10.29 (+0.41) 9.52 (+0.04) 30.38 (+0.02)
e5cc2f 13.27 (+0.26) 7.28 (-0.21) 9.19 (-0.08) 29.74 (-0.00)
c6b56d 10.55 (-0.11) 9.26 (-0.00) 10.00 (+0.03) 29.81 (-0.03)
e067cd 11.89 (-0.01) 9.28 (+0.05) 9.67 (-0.01) 30.84 (+0.01)
bce423 12.06 (-0.01) 8.80 (+0.20) 9.78 (-0.03) 30.65 (+0.04)
bce423 12.13 (-0.10) 7.33 (+0.00) 10.08 (+0.05) 29.54 (-0.03)
c28bfd 13.42 (+0.10) 7.32 (-0.05) 9.58 (-0.02) 30.33 (+0.02)
95bf19 12.24 (+0.01) 7.70 (+0.00) 9.82 (+0.04) 29.77 (+0.02)
95bf19 12.08 (+5.59) 7.69 (+3.31) 9.49 (+4.28) 29.25 (+4.40)
080752 1.83 (-0.83) 1.78 (-0.75) 1.80 (-0.84) 5.42 (-0.82)
23d5e2 10.99 (-0.23) 7.18 (+0.53) 11.52 (+5.12) 29.69 (+0.42)
23d5e2 14.25 (-0.02) 4.71 (-0.49) 1.88 (-0.74) 20.84 (-0.33)
8b710b 14.57 (+4.36) 9.31 (+4.48) 7.12 (+2.71) 30.99 (+3.89)
8c6e60 2.72 (-0.79) 1.70 (-0.78) 1.92 (+0.03) 6.34 (-0.72)
10dae7 12.98 (+6.67) 7.83 (+3.17) 1.86 (+0.05) 22.67 (+3.24)
4c4d3d 1.69 (-0.00) 1.88 (+0.11) 1.77 (+0.10) 5.34 (+0.07)
9f94d0 1.70 (-0.03) 1.69 (-0.07) 1.60 (-0.14) 4.99 (-0.08)
9f94d0 1.75 (+0.00) 1.82 (-0.05) 1.87 (+0.10) 5.44 (+0.02)
9f94d0 1.75 (-0.01) 1.91 (+0.07) 1.69 (+0.01) 5.36 (+0.02)
c700c7 1.77 (-0.21) 1.79 (+0.10) 1.68 (-0.15) 5.25 (-0.10)
42c6dd 2.24 (+0.38) 1.63 (-0.10) 1.98 (+0.18) 5.86 (+0.15)
f6bf7b 1.63 (-0.12) 1.81 (+0.06) 1.67 (-0.03) 5.11 (-0.03)
1137b5 1.85 (+0.06) 1.70 (-0.06) 1.73 (+0.06) 5.29 (+0.02)
1468c6 1.74 (-0.10) 1.80 (-0.02) 1.64 (-0.01) 5.18 (-0.05)
1468c6 1.94 (+0.13) 1.84 (+0.07) 1.66 (-0.14) 5.45 (+0.02)
c01f92 1.71 (-0.17) 1.72 (+0.03) 1.93 (+0.11) 5.36 (-0.02)
7ff591 2.07 (+0.26) 1.68 (-0.08) 1.73 (+0.07) 5.48 (+0.08)
5d4774 1.65 (-0.86) 1.83 (-0.76) 1.61 (-0.82) 5.09 (-0.82)
56d8c2 11.65 (+0.05) 7.51 (-0.01) 8.91 (-0.03) 28.07 (+0.01)
12e6f4 11.10 (-0.07) 7.62 (+0.00) 9.19 (-0.08) 27.92 (-0.06)
12e6f4 11.97 (+0.16) 7.60 (+0.02) 10.00 (-0.03) 29.57 (+0.05)
61194a 10.35 (-0.29) 7.49 (-0.03) 10.36 (+0.02) 28.19 (-0.13)
70ce01 14.48 (+0.33) 7.69 (-0.03) 10.19 (-0.12) 32.37 (+0.06)
c04c20 10.93 (-0.14) 7.90 (-0.18) 11.60 (+0.14) 30.43 (-0.07)
827ee1 12.77 (+0.05) 9.63 (+0.23) 10.18 (-0.17) 32.58 (+0.01)
22ae67 12.21 (-0.05) 7.82 (-0.13) 12.27 (+0.24) 32.30 (+0.02)
0f4458 12.79 (-0.06) 8.99 (+0.18) 9.91 (-0.10) 31.70 (-0.02)
0f4458 13.66 (+0.09) 7.60 (+0.07) 11.03 (-0.05) 32.29 (+0.03)
0f4458 12.50 (+0.04) 7.13 (-0.23) 11.61 (+0.20) 31.24 (+0.01)
b8a566 12.07 (-0.02) 9.20 (+0.21) 9.67 (-0.19) 30.95 (-0.03)
b8a566 12.38 (+0.02) 7.59 (-0.18) 12.00 (+0.11) 31.97 (-0.01)
9747e9 12.14 (+0.13) 9.23 (+0.35) 10.77 (-0.01) 32.15 (+0.13)
b50e07 10.70 (-0.20) 6.83 (-0.06) 10.90 (+0.15) 28.42 (-0.06)
6a57d5 13.38 (+0.27) 7.28 (-0.21) 9.49 (+0.03) 30.15 (+0.04)
c0480f 10.51 (-0.23) 9.20 (+0.31) 9.18 (-0.05) 28.88 (-0.05)
4f443c 13.69 (+0.05) 7.04 (+0.01) 9.68 (-0.05) 30.42 (+0.01)
4f443c 13.06 (+0.01) 7.00 (-0.00) 10.21 (+0.03) 30.26 (+0.01)
788823 12.96 (-0.68) 7.02 (-0.83) 9.90 (-0.73) 29.88 (-0.75)
c21104 40.60 (+2.44) 40.61 (+4.55) 37.31 (+2.56) 118.52 (+3.00)
b9544a 11.80 (-0.16) 7.32 (-0.03) 10.48 (-0.06) 29.60 (-0.09)
33834c 13.97 (+0.14) 7.52 (+0.05) 11.11 (+0.17) 32.60 (+0.13)
521667 12.25 (+0.12) 7.17 (-0.14) 9.52 (+0.07) 28.95 (+0.03)
361648 10.98 (+0.03) 8.30 (+0.13) 8.91 (-0.22) 28.18 (-0.04)
fc0629 10.64 7.38 11.41 29.42

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query39]

platform: rds-aurora

revision Q39/1 Q39/2 Q39/3 total_duration
41aa62 32.44 (+0.02) 32.60 (-0.00) 32.90 (+0.08) 97.95 (+0.03)
7b5489 31.73 (-0.10) 32.73 (-0.12) 30.57 (-0.11) 95.03 (-0.11)
a23b07 35.31 (+0.05) 37.09 (+0.01) 34.51 (+0.10) 106.91 (+0.05)
cc2d00 33.73 (+0.09) 36.68 (+0.21) 31.29 (+0.04) 101.71 (+0.11)
ba9df2 31.06 (+0.15) 30.26 (+0.07) 30.04 (+0.13) 91.36 (+0.12)
a8f354 26.97 (+0.04) 28.31 (-0.01) 26.47 (-0.02) 81.75 (+0.00)
7feb0d 26.04 (-0.08) 28.69 (-0.06) 26.93 (-0.01) 81.67 (-0.05)
982fce 28.18 (+0.07) 30.50 (+0.13) 27.30 (+0.11) 85.98 (+0.11)
1f151d 26.23 (-0.03) 26.92 (-0.07) 24.51 (-0.07) 77.66 (-0.06)
ff1a1a 26.93 (-0.11) 29.01 (-0.08) 26.46 (-0.10) 82.40 (-0.10)
b1477b 30.24 (+0.03) 31.42 (+0.01) 29.51 (-0.01) 91.17 (+0.01)
1b947f 29.24 (-0.08) 31.08 (-0.09) 29.69 (-0.05) 90.02 (-0.07)
a21b55 31.79 (-0.02) 33.97 (-0.02) 31.11 (-0.03) 96.88 (-0.02)
4ba950 32.34 (+0.07) 34.73 (+0.17) 31.97 (+0.08) 99.04 (+0.10)
4e359d 30.22 (+0.01) 29.80 (+0.02) 29.71 (+0.03) 89.73 (+0.02)
3837fc 29.83 (+0.18) 29.31 (+0.05) 28.78 (+0.14) 87.93 (+0.12)
edcf4d 25.33 (-0.02) 27.90 (+0.06) 25.19 (-0.08) 78.43 (-0.01)
411c71 25.72 (-0.11) 26.42 (-0.06) 27.47 (-0.05) 79.61 (-0.07)
854348 28.95 (+0.05) 28.11 (-0.04) 28.92 (+0.08) 85.97 (+0.03)
7ba5c2 27.67 (+0.01) 29.42 (+0.05) 26.77 (+0.03) 83.86 (+0.03)
ebea29 27.45 (-0.03) 28.10 (-0.07) 25.88 (-0.08) 81.43 (-0.06)
22c890 28.26 (+0.02) 30.31 (+0.08) 28.19 (-0.03) 86.76 (+0.02)
f0b2e0 27.67 (+0.14) 28.00 (+0.02) 29.16 (+0.19) 84.84 (+0.11)
dec580 24.34 (-0.04) 27.57 (+0.11) 24.50 (+0.03) 76.41 (+0.03)
dec580 25.35 (+0.05) 24.93 (-0.09) 23.69 (-0.04) 73.97 (-0.03)
b1c2a6 24.21 (-0.06) 27.51 (+0.13) 24.70 (+0.01) 76.42 (+0.03)
931094 25.64 (+0.00) 24.41 (-0.09) 24.38 (-0.02) 74.45 (-0.04)
957acb 25.51 (+0.02) 26.70 (+0.07) 25.00 (+0.11) 77.21 (+0.06)
846532 25.08 (+0.00) 24.86 (-0.05) 22.60 (-0.10) 72.54 (-0.05)
d733bc 25.01 (+0.01) 26.12 (+0.06) 25.01 (-0.01) 76.14 (+0.02)
75ffe3 24.79 (+0.02) 24.62 (-0.04) 25.19 (+0.11) 74.59 (+0.02)
75ffe3 24.37 (-0.29) 25.63 (-0.18) 22.79 (-0.29) 72.79 (-0.26)
bf4623 34.31 (+0.11) 31.42 (+0.06) 32.11 (+0.05) 97.84 (+0.07)
b26c83 31.05 (+0.03) 29.70 (-0.14) 30.48 (-0.00) 91.23 (-0.04)
9d714a 30.15 (-0.06) 34.71 (+0.05) 30.61 (+0.08) 95.47 (+0.02)
6efea4 32.18 (+0.09) 33.17 (+0.00) 28.30 (-0.04) 93.65 (+0.02)
4071ff 29.56 (-0.04) 33.08 (-0.02) 29.43 (-0.01) 92.07 (-0.02)
4071ff 30.95 (+0.04) 33.62 (+0.08) 29.67 (-0.06) 94.24 (+0.02)
870ba4 29.85 (-0.04) 31.19 (-0.01) 31.49 (-0.01) 92.52 (-0.02)
f5ca89 31.11 (+0.06) 31.54 (-0.01) 31.77 (+0.09) 94.41 (+0.04)
8bd565 29.43 (-0.09) 31.97 (+0.04) 29.24 (-0.07) 90.64 (-0.04)
dd22c8 32.34 (+0.06) 30.77 (-0.04) 31.32 (+0.03) 94.44 (+0.02)
299db9 30.40 (-0.06) 32.00 (+0.03) 30.51 (+0.01) 92.91 (-0.00)
93f3f4 32.23 (+0.08) 31.01 (+0.02) 30.10 (-0.06) 93.34 (+0.01)
f6e2e0 29.73 (-0.09) 30.33 (-0.01) 31.97 (-0.06) 92.02 (-0.05)
f6e2e0 32.55 (+0.08) 30.54 (-0.03) 34.07 (+0.02) 97.16 (+0.02)
f6e2e0 30.02 (-0.02) 31.49 (+0.01) 33.53 (-0.05) 95.04 (-0.02)
f1d960 30.51 (-0.06) 31.21 (-0.12) 35.20 (+0.19) 96.92 (-0.01)
4a9279 32.58 (+0.10) 35.47 (+0.06) 29.50 (-0.10) 97.56 (+0.02)
2e4bf7 29.52 (-0.04) 33.61 (-0.01) 32.83 (+0.13) 95.96 (+0.03)
ce8fbb 30.77 (-0.04) 33.79 (-0.00) 29.00 (-0.10) 93.56 (-0.05)
ce8fbb 32.09 (+0.01) 33.90 (+0.11) 32.19 (+0.02) 98.17 (+0.05)
ce8fbb 31.71 (+0.01) 30.60 (-0.02) 31.59 (+0.03) 93.90 (+0.00)
d1a0f2 31.48 (+0.01) 31.29 (+0.03) 30.71 (+0.05) 93.48 (+0.03)
ccf92d 31.14 (+0.00) 30.26 (+0.01) 29.32 (-0.04) 90.72 (-0.01)
02b8e0 31.04 (-0.01) 29.98 (-0.05) 30.40 (+0.01) 91.42 (-0.02)
7b9057 31.23 (-0.09) 31.69 (-0.01) 30.18 (-0.02) 93.11 (-0.04)
9cada8 34.28 (+0.15) 31.99 (+0.07) 30.68 (+0.07) 96.95 (+0.10)
9cada8 29.74 (-0.03) 29.99 (-0.09) 28.60 (-0.03) 88.33 (-0.05)
9cada8 30.58 (-0.03) 32.98 (+0.02) 29.62 (+0.00) 93.18 (-0.00)
a60f68 31.51 (+0.02) 32.43 (+0.04) 29.58 (-0.00) 93.53 (+0.02)
d19c52 30.82 (-0.01) 31.29 (+0.01) 29.60 (-0.10) 91.72 (-0.04)
000eb1 31.25 (-0.01) 30.93 (-0.03) 32.88 (+0.07) 95.05 (+0.01)
000eb1 31.69 (-0.02) 31.85 (-0.01) 30.68 (+0.08) 94.23 (+0.02)
f51b48 32.41 (-0.02) 32.12 (-0.04) 28.31 (-0.04) 92.83 (-0.03)
f51b48 32.91 (+0.09) 33.39 (+0.06) 29.40 (-0.02) 95.71 (+0.05)
f51b48 30.14 (-0.04) 31.48 (+0.03) 29.89 (+0.03) 91.51 (+0.01)
9f906f 31.42 (+0.15) 30.50 (+0.05) 29.03 (+0.05) 90.95 (+0.08)
0692ff 27.29 (-0.06) 29.00 (+0.03) 27.70 (-0.03) 83.99 (-0.02)
2caece 29.07 (+0.06) 28.29 (-0.05) 28.49 (+0.07) 85.85 (+0.02)
bc7d3c 27.53 (-0.10) 29.92 (+0.00) 26.67 (-0.11) 84.13 (-0.07)
2153d2 30.56 (+0.04) 29.90 (+0.05) 29.82 (+0.08) 90.28 (+0.06)
2153d2 29.44 (+0.07) 28.41 (-0.06) 27.69 (-0.01) 85.54 (-0.00)
2153d2 27.54 (+0.01) 30.29 (+0.04) 28.03 (-0.01) 85.86 (+0.01)
a1b062 27.28 (-0.04) 29.00 (-0.09) 28.38 (+0.03) 84.66 (-0.04)
1d9d7c 28.31 (-0.01) 32.01 (+0.14) 27.52 (-0.03) 87.84 (+0.03)
3569c1 28.71 (+0.02) 28.12 (-0.01) 28.27 (+0.04) 85.10 (+0.02)
eaff14 28.28 (-0.01) 28.30 (-0.01) 27.21 (+0.00) 83.79 (-0.01)
f383b4 28.54 (-0.03) 28.72 (+0.02) 27.19 (-0.03) 84.46 (-0.01)
f383b4 29.43 (+0.03) 28.18 (+0.03) 27.90 (+0.01) 85.51 (+0.02)
f383b4 28.58 (+0.07) 27.48 (-0.06) 27.71 (-0.01) 83.76 (-0.01)
a4256b 26.84 (-0.09) 29.29 (+0.10) 28.08 (-0.00) 84.21 (-0.00)
371493 29.44 (+0.06) 26.73 (-0.06) 28.10 (+0.01) 84.27 (+0.00)
c5c143 27.88 (+0.00) 28.39 (-0.03) 27.68 (+0.09) 83.96 (+0.02)
58fa4f 27.85 (-0.00) 29.32 (+0.04) 25.38 (-0.05) 82.55 (-0.00)
121d53 27.96 (-0.12) 28.08 (-0.02) 26.60 (-0.04) 82.63 (-0.06)
121d53 31.62 (+0.14) 28.54 (+0.03) 27.68 (-0.02) 87.85 (+0.05)
ec3a3a 27.75 (-0.05) 27.78 (-0.08) 28.34 (+0.01) 83.87 (-0.04)
96e783 29.33 (-0.00) 30.23 (+0.06) 28.17 (+0.03) 87.73 (+0.03)
567b71 29.37 (+0.00) 28.53 (+0.02) 27.36 (-0.06) 85.26 (-0.01)
847fc5 29.26 (+0.05) 28.02 (-0.02) 28.96 (+0.09) 86.25 (+0.04)
5e08b3 27.74 (-0.00) 28.48 (+0.10) 26.50 (-0.02) 82.72 (+0.03)
4d291d 27.75 (-0.04) 25.89 (-0.04) 26.91 (+0.02) 80.54 (-0.02)
4d291d 28.84 (+0.00) 26.90 (-0.02) 26.48 (-0.12) 82.22 (-0.05)
bf63f1 28.84 (+0.06) 27.31 (+0.00) 30.03 (+0.16) 86.18 (+0.07)
0a0958 27.25 (-0.03) 27.29 (-0.03) 25.91 (-0.08) 80.46 (-0.05)
aabca5 28.15 (+0.01) 28.08 (-0.02) 28.20 (+0.07) 84.43 (+0.02)
a4be54 27.77 (-0.02) 28.77 (-0.02) 26.39 (-0.05) 82.93 (-0.03)
a3d7ad 28.27 (+0.09) 29.28 (+0.04) 27.90 (+0.04) 85.46 (+0.06)
a3d7ad 25.91 (-0.06) 28.10 (-0.03) 26.80 (+0.02) 80.81 (-0.02)
8ba169 27.67 (-0.00) 28.88 (-0.00) 26.22 (-0.02) 82.77 (-0.01)
e5cc2f 27.75 (+0.00) 29.00 (+0.06) 26.67 (-0.03) 83.43 (+0.01)
c6b56d 27.69 (+0.04) 27.28 (-0.07) 27.39 (-0.03) 82.36 (-0.02)
e067cd 26.57 (-0.02) 29.42 (+0.04) 28.30 (+0.08) 84.29 (+0.03)
bce423 26.98 (-0.06) 28.39 (-0.00) 26.29 (+0.03) 81.66 (-0.01)
bce423 28.64 (+0.04) 28.43 (+0.06) 25.50 (-0.04) 82.57 (+0.02)
c28bfd 27.66 (+0.05) 26.78 (-0.07) 26.52 (+0.01) 80.96 (-0.01)
95bf19 26.32 (-0.03) 28.94 (+0.05) 26.28 (-0.00) 81.54 (+0.01)
95bf19 27.12 (+0.24) 27.45 (+0.50) 26.39 (+0.29) 80.96 (+0.33)
080752 21.94 (-0.04) 18.32 (-0.11) 20.48 (-0.03) 60.74 (-0.06)
23d5e2 22.75 (+0.12) 20.50 (+0.05) 21.20 (+0.00) 64.46 (+0.06)
23d5e2 20.40 (+0.00) 19.48 (-0.07) 21.19 (-0.02) 61.07 (-0.03)
8b710b 20.31 (+0.05) 20.92 (+0.03) 21.59 (+0.03) 62.82 (+0.04)
8c6e60 19.35 (-0.07) 20.22 (+0.04) 20.86 (-0.01) 60.43 (-0.01)
10dae7 20.70 (+0.00) 19.53 (-0.07) 21.01 (+0.15) 61.25 (+0.02)
4c4d3d 20.68 (-0.03) 21.03 (+0.01) 18.30 (-0.01) 60.01 (-0.01)
9f94d0 21.23 (+0.03) 20.73 (+0.01) 18.46 (-0.02) 60.43 (+0.01)
9f94d0 20.60 (+0.04) 20.49 (+0.12) 18.79 (-0.05) 59.88 (+0.03)
9f94d0 19.86 (+0.03) 18.32 (-0.12) 19.71 (+0.09) 57.88 (-0.01)
c700c7 19.30 (+0.08) 20.76 (+0.07) 18.12 (-0.06) 58.18 (+0.03)
42c6dd 17.94 (-0.05) 19.42 (-0.05) 19.31 (-0.01) 56.68 (-0.04)
f6bf7b 18.79 (+0.01) 20.40 (+0.13) 19.59 (+0.04) 58.78 (+0.06)
1137b5 18.62 (-0.03) 18.01 (-0.04) 18.80 (-0.04) 55.43 (-0.04)
1468c6 19.23 (+0.10) 18.73 (-0.05) 19.58 (+0.03) 57.54 (+0.02)
1468c6 17.47 (-0.10) 19.63 (+0.07) 19.06 (+0.01) 56.17 (-0.01)
c01f92 19.32 (+0.01) 18.42 (+0.03) 18.88 (-0.04) 56.61 (+0.00)
7ff591 19.14 (+0.02) 17.83 (+0.02) 19.58 (+0.03) 56.55 (+0.02)
5d4774 18.83 (-0.22) 17.48 (-0.30) 19.09 (-0.35) 55.41 (-0.30)
56d8c2 24.29 (+0.02) 25.03 (-0.04) 29.48 (+0.22) 78.81 (+0.06)
12e6f4 23.92 (+0.03) 26.01 (+0.03) 24.07 (-0.00) 74.01 (+0.02)
12e6f4 23.24 (-0.01) 25.29 (+0.06) 24.08 (+0.02) 72.60 (+0.02)
61194a 23.52 (-0.13) 23.82 (-0.16) 23.59 (-0.11) 70.93 (-0.14)
70ce01 27.10 (-0.01) 28.39 (+0.02) 26.52 (+0.06) 82.02 (+0.02)
c04c20 27.39 (+0.00) 27.78 (-0.04) 24.90 (-0.08) 80.08 (-0.04)
827ee1 27.36 (+0.05) 29.08 (+0.04) 26.93 (+0.01) 83.37 (+0.03)
22ae67 26.02 (-0.06) 28.04 (-0.03) 26.60 (-0.06) 80.66 (-0.05)
0f4458 27.81 (+0.02) 28.89 (+0.04) 28.31 (+0.03) 85.01 (+0.03)
0f4458 27.25 (+0.01) 27.78 (+0.02) 27.60 (+0.03) 82.62 (+0.02)
0f4458 27.09 (-0.05) 27.11 (-0.06) 26.79 (+0.01) 80.99 (-0.03)
b8a566 28.57 (+0.05) 28.69 (+0.01) 26.63 (-0.03) 83.89 (+0.01)
b8a566 27.27 (+0.04) 28.40 (+0.02) 27.51 (+0.04) 83.18 (+0.03)
9747e9 26.24 (+0.02) 27.93 (+0.08) 26.43 (+0.06) 80.60 (+0.05)
b50e07 25.74 (-0.04) 25.78 (-0.11) 25.01 (-0.06) 76.53 (-0.07)
6a57d5 26.72 (+0.00) 28.90 (-0.00) 26.49 (+0.00) 82.11 (+0.00)
c0480f 26.66 (-0.02) 28.91 (+0.08) 26.41 (+0.02) 81.98 (+0.02)
4f443c 27.29 (+0.06) 26.89 (-0.06) 25.98 (-0.02) 80.16 (-0.01)
4f443c 25.84 (+0.00) 28.64 (+0.04) 26.60 (+0.09) 81.08 (+0.04)
788823 25.77 (-0.63) 27.58 (-0.62) 24.39 (-0.66) 77.73 (-0.64)
c21104 69.39 (+1.62) 73.09 (+1.30) 71.01 (+1.72) 213.49 (+1.53)
b9544a 26.50 (-0.03) 31.78 (+0.09) 26.09 (-0.00) 84.37 (+0.02)
33834c 27.30 (+0.05) 29.21 (+0.13) 26.11 (+0.02) 82.63 (+0.07)
521667 25.96 (+0.00) 25.80 (-0.02) 25.63 (+0.07) 77.38 (+0.01)
361648 25.88 (+0.03) 26.41 (+0.07) 24.02 (-0.04) 76.31 (+0.02)
fc0629 25.21 24.80 25.02 75.02

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query40]

platform: rds-aurora

revision Q40/1 Q40/2 Q40/3 total_duration
41aa62 11.93 (-0.09) 11.99 (+0.07) 13.51 (-0.14) 37.42 (-0.06)
7b5489 13.10 (-0.16) 11.17 (+0.08) 15.63 (-0.07) 39.91 (-0.07)
a23b07 15.53 (+0.34) 10.30 (-0.02) 16.87 (+0.22) 42.71 (+0.19)
cc2d00 11.57 (-0.10) 10.51 (+0.13) 13.79 (+0.17) 35.87 (+0.06)
ba9df2 12.82 (+0.39) 9.31 (-0.07) 11.76 (+0.19) 33.89 (+0.16)
a8f354 9.25 (+0.05) 10.00 (+0.04) 9.91 (+0.13) 29.16 (+0.07)
7feb0d 8.79 (-0.10) 9.66 (-0.15) 8.81 (-0.28) 27.26 (-0.18)
982fce 9.72 (-0.14) 11.32 (+0.21) 12.31 (+0.21) 33.35 (+0.08)
1f151d 11.29 (+0.09) 9.34 (-0.05) 10.18 (+0.11) 30.81 (+0.05)
ff1a1a 10.36 (+0.05) 9.79 (-0.20) 9.21 (-0.14) 29.36 (-0.11)
b1477b 9.91 (-0.06) 12.21 (+0.26) 10.70 (-0.13) 32.82 (+0.01)
1b947f 10.49 (+0.03) 9.72 (-0.25) 12.28 (-0.15) 32.49 (-0.13)
a21b55 10.22 (-0.25) 12.89 (+0.30) 14.43 (+0.07) 37.55 (+0.01)
4ba950 13.71 (+0.37) 9.88 (+0.05) 13.50 (+0.23) 37.10 (+0.22)
4e359d 10.03 (+0.06) 9.39 (-0.07) 11.00 (+0.07) 30.43 (+0.02)
3837fc 9.44 (-0.14) 10.11 (-0.06) 10.27 (+0.03) 29.83 (-0.06)
edcf4d 10.96 (+0.30) 10.80 (+0.17) 9.99 (-0.04) 31.75 (+0.13)
411c71 8.46 (-0.16) 9.22 (+0.01) 10.46 (+0.04) 28.14 (-0.04)
854348 10.13 (+0.10) 9.09 (-0.24) 10.10 (-0.01) 29.32 (-0.07)
7ba5c2 9.24 (+0.08) 12.00 (+0.27) 10.23 (-0.08) 31.48 (+0.08)
ebea29 8.54 (-0.14) 9.48 (+0.12) 11.09 (-0.09) 29.11 (-0.05)
22c890 9.95 (-0.06) 8.50 (-0.12) 12.24 (+0.23) 30.69 (+0.02)
f0b2e0 10.54 (+0.20) 9.70 (+0.09) 9.94 (-0.03) 30.19 (+0.08)
dec580 8.77 (-0.06) 8.88 (-0.03) 10.24 (+0.04) 27.88 (-0.02)
dec580 9.30 (+0.08) 9.14 (-0.10) 9.87 (-0.03) 28.31 (-0.02)
b1c2a6 8.63 (-0.22) 10.12 (+0.17) 10.19 (+0.10) 28.95 (-0.00)
931094 11.09 (+0.19) 8.65 (+0.06) 9.31 (-0.17) 29.05 (+0.01)
957acb 9.32 (-0.11) 8.20 (-0.03) 11.21 (+0.24) 28.73 (+0.03)
846532 10.51 (+0.23) 8.43 (-0.18) 9.01 (-0.03) 27.96 (-0.01)
d733bc 8.54 (+0.04) 10.32 (-0.05) 9.31 (+0.09) 28.17 (+0.02)
75ffe3 8.22 (-0.17) 10.91 (+0.36) 8.53 (-0.10) 27.66 (+0.01)
75ffe3 9.85 (-0.10) 8.01 (-0.15) 9.45 (-0.34) 27.32 (-0.21)
bf4623 10.92 (-0.01) 9.41 (+0.04) 14.31 (+0.24) 34.64 (+0.10)
b26c83 10.98 (-0.15) 9.08 (-0.18) 11.52 (-0.13) 31.58 (-0.15)
9d714a 12.94 (+0.08) 11.11 (+0.25) 13.26 (+0.01) 37.31 (+0.10)
6efea4 12.01 (+0.07) 8.91 (-0.16) 13.08 (+0.08) 34.00 (+0.00)
4071ff 11.20 (-0.05) 10.60 (-0.06) 12.10 (+0.19) 33.90 (+0.02)
4071ff 11.84 (-0.04) 11.23 (+0.29) 10.17 (-0.18) 33.24 (-0.01)
870ba4 12.34 (+0.17) 8.73 (-0.23) 12.47 (+0.09) 33.54 (+0.01)
f5ca89 10.57 (+0.02) 11.35 (+0.14) 11.43 (-0.11) 33.34 (+0.00)
8bd565 10.41 (-0.03) 9.93 (+0.08) 12.87 (+0.18) 33.20 (+0.08)
dd22c8 10.75 (+0.04) 9.18 (-0.25) 10.93 (+0.12) 30.86 (-0.05)
299db9 10.35 (-0.01) 12.21 (-0.06) 9.76 (-0.11) 32.32 (-0.06)
93f3f4 10.46 (-0.12) 12.99 (+0.21) 10.97 (+0.05) 34.42 (+0.04)
f6e2e0 11.84 (+0.02) 10.70 (+0.14) 10.40 (-0.18) 32.94 (-0.02)
f6e2e0 11.64 (-0.07) 9.36 (-0.08) 12.70 (-0.08) 33.70 (-0.08)
f6e2e0 12.56 (-0.08) 10.15 (+0.01) 13.81 (+0.20) 36.52 (+0.04)
f1d960 13.63 (-0.04) 10.00 (+0.13) 11.49 (-0.10) 35.13 (-0.02)
4a9279 14.18 (+0.35) 8.84 (-0.32) 12.79 (+0.08) 35.81 (+0.01)
2e4bf7 10.50 (-0.29) 13.01 (+0.13) 11.80 (-0.12) 35.31 (-0.11)
ce8fbb 14.77 (+0.44) 11.50 (+0.18) 13.41 (+0.23) 39.67 (+0.28)
ce8fbb 10.22 (-0.11) 9.78 (+0.02) 10.92 (+0.00) 30.92 (-0.03)
ce8fbb 11.47 (+0.15) 9.58 (-0.16) 10.92 (-0.02) 31.97 (-0.02)
d1a0f2 9.96 (-0.15) 11.43 (+0.26) 11.18 (-0.07) 32.57 (-0.01)
ccf92d 11.71 (+0.12) 9.09 (-0.24) 12.01 (+0.11) 32.81 (-0.01)
02b8e0 10.44 (-0.10) 11.98 (+0.17) 10.85 (-0.19) 33.26 (-0.06)
7b9057 11.56 (+0.05) 10.20 (+0.09) 13.47 (+0.01) 35.23 (+0.04)
9cada8 11.05 (-0.09) 9.36 (-0.04) 13.40 (+0.10) 33.82 (-0.01)
9cada8 12.20 (-0.13) 9.73 (+0.13) 12.19 (-0.00) 34.12 (-0.02)
9cada8 14.04 (+0.27) 8.59 (-0.23) 12.22 (+0.13) 34.85 (+0.06)
a60f68 11.08 (+0.00) 11.09 (+0.02) 10.80 (+0.05) 32.97 (+0.03)
d19c52 11.03 (+0.04) 10.82 (+0.12) 10.28 (-0.23) 32.14 (-0.04)
000eb1 10.59 (-0.00) 9.63 (-0.08) 13.39 (+0.14) 33.62 (+0.02)
000eb1 10.63 (-0.04) 10.48 (+0.09) 11.72 (-0.23) 32.83 (-0.08)
f51b48 11.03 (+0.10) 9.58 (-0.09) 15.19 (+0.13) 35.80 (+0.06)
f51b48 10.00 (-0.28) 10.50 (-0.13) 13.40 (-0.02) 33.90 (-0.15)
f51b48 13.94 (+0.22) 12.13 (+0.29) 13.73 (+0.28) 39.81 (+0.26)
9f906f 11.42 (-0.07) 9.41 (+0.08) 10.69 (+0.06) 31.52 (+0.01)
0692ff 12.29 (+0.22) 8.74 (-0.13) 10.05 (-0.09) 31.08 (-0.00)
2caece 10.07 (+0.01) 10.10 (+0.23) 10.99 (-0.05) 31.16 (+0.05)
bc7d3c 9.98 (-0.13) 8.20 (-0.06) 11.56 (+0.06) 29.75 (-0.04)
2153d2 11.41 (+0.11) 8.73 (+0.00) 10.88 (-0.10) 31.02 (-0.00)
2153d2 10.30 (+0.06) 8.69 (-0.24) 12.04 (+0.15) 31.03 (-0.02)
2153d2 9.70 (+0.01) 11.41 (+0.04) 10.50 (-0.05) 31.60 (+0.00)
a1b062 9.59 (-0.02) 10.94 (-0.05) 11.06 (+0.06) 31.59 (-0.00)
1d9d7c 9.75 (+0.04) 11.57 (+0.17) 10.42 (+0.12) 31.74 (+0.11)
3569c1 9.33 (-0.14) 9.90 (+0.08) 9.27 (-0.12) 28.50 (-0.07)
eaff14 10.80 (+0.04) 9.18 (+0.02) 10.59 (-0.07) 30.57 (-0.01)
f383b4 10.40 (+0.08) 8.99 (+0.01) 11.38 (-0.04) 30.77 (+0.01)
f383b4 9.60 (+0.04) 8.89 (-0.10) 11.84 (+0.16) 30.33 (+0.03)
f383b4 9.25 (-0.17) 9.92 (-0.04) 10.18 (+0.01) 29.35 (-0.07)
a4256b 11.08 (+0.00) 10.38 (-0.01) 10.08 (+0.11) 31.54 (+0.03)
371493 11.04 (-0.00) 10.48 (+0.08) 9.12 (-0.09) 30.64 (-0.00)
c5c143 11.05 (+0.08) 9.70 (+0.15) 10.03 (-0.14) 30.78 (+0.01)
58fa4f 10.25 (+0.18) 8.46 (-0.03) 11.62 (+0.03) 30.34 (+0.06)
121d53 8.71 (-0.29) 8.71 (-0.08) 11.29 (+0.11) 28.72 (-0.10)
121d53 12.25 (+0.08) 9.48 (-0.03) 10.19 (+0.03) 31.93 (+0.03)
ec3a3a 11.31 (+0.16) 9.81 (-0.15) 9.90 (+0.03) 31.02 (+0.00)
96e783 9.77 (+0.04) 11.59 (+0.15) 9.59 (-0.19) 30.95 (-0.01)
567b71 9.43 (-0.04) 10.07 (+0.02) 11.85 (+0.25) 31.35 (+0.07)
847fc5 9.84 (+0.04) 9.92 (+0.10) 9.50 (-0.17) 29.26 (-0.02)
5e08b3 9.45 (-0.09) 9.02 (-0.14) 11.40 (+0.21) 29.88 (-0.01)
4d291d 10.34 (+0.26) 10.53 (+0.05) 9.42 (+0.05) 30.29 (+0.11)
4d291d 8.20 (-0.15) 10.02 (+0.15) 9.00 (-0.22) 27.23 (-0.09)
bf63f1 9.63 (+0.00) 8.69 (-0.00) 11.49 (+0.11) 29.81 (+0.04)
0a0958 9.60 (-0.11) 8.70 (-0.02) 10.31 (+0.07) 28.62 (-0.02)
aabca5 10.73 (+0.13) 8.89 (-0.17) 9.68 (-0.04) 29.30 (-0.03)
a4be54 9.45 (-0.09) 10.76 (+0.19) 10.07 (-0.13) 30.28 (-0.02)
a3d7ad 10.37 (-0.00) 9.08 (-0.00) 11.52 (+0.22) 30.97 (+0.07)
a3d7ad 10.38 (+0.16) 9.09 (-0.08) 9.48 (-0.22) 28.95 (-0.07)
8ba169 8.94 (-0.18) 9.91 (-0.01) 12.20 (+0.26) 31.05 (+0.02)
e5cc2f 10.87 (+0.22) 9.99 (+0.15) 9.70 (-0.14) 30.55 (+0.06)
c6b56d 8.88 (-0.06) 8.66 (-0.08) 11.31 (+0.11) 28.85 (-0.01)
e067cd 9.41 (+0.10) 9.39 (-0.05) 10.19 (+0.07) 29.00 (+0.04)
bce423 8.55 (-0.17) 9.90 (-0.10) 9.53 (-0.00) 27.98 (-0.10)
bce423 10.34 (+0.03) 11.02 (+0.16) 9.56 (-0.01) 30.92 (+0.06)
c28bfd 10.03 (+0.10) 9.49 (-0.01) 9.63 (+0.03) 29.16 (+0.04)
95bf19 9.10 (-0.08) 9.57 (+0.01) 9.39 (+0.22) 28.05 (+0.04)
95bf19 9.86 (+3.62) 9.43 (+4.54) 7.70 (+2.85) 26.99 (+3.62)
080752 2.13 (+0.15) 1.70 (-0.06) 2.00 (+0.17) 5.84 (+0.09)
23d5e2 1.86 (+0.06) 1.81 (-0.06) 1.71 (-0.14) 5.38 (-0.05)
23d5e2 1.75 (-0.02) 1.92 (+0.13) 1.99 (+0.17) 5.66 (+0.09)
8b710b 1.78 (-0.01) 1.70 (-0.14) 1.70 (+0.01) 5.18 (-0.05)
8c6e60 1.79 (+0.03) 1.97 (-0.01) 1.69 (-0.05) 5.46 (-0.01)
10dae7 1.74 (-0.39) 1.99 (+0.17) 1.78 (-0.07) 5.52 (-0.15)
4c4d3d 2.85 (+0.20) 1.70 (-0.22) 1.91 (+0.06) 6.46 (+0.01)
9f94d0 2.38 (-0.01) 2.18 (+0.18) 1.80 (-0.04) 6.37 (+0.04)
9f94d0 2.41 (+0.39) 1.84 (+0.08) 1.87 (+0.03) 6.12 (+0.17)
9f94d0 1.73 (+0.01) 1.71 (-0.30) 1.81 (-0.13) 5.25 (-0.16)
c700c7 1.71 (-0.13) 2.43 (+0.43) 2.07 (+0.21) 6.21 (+0.16)
42c6dd 1.97 (+0.01) 1.70 (+0.00) 1.70 (-0.07) 5.37 (-0.02)
f6bf7b 1.96 (+0.12) 1.70 (-0.01) 1.83 (-0.12) 5.48 (-0.01)
1137b5 1.75 (-0.00) 1.71 (-0.06) 2.08 (+0.22) 5.55 (+0.05)
1468c6 1.75 (+0.04) 1.82 (+0.03) 1.70 (-0.01) 5.28 (+0.02)
1468c6 1.69 (-0.19) 1.77 (-0.00) 1.71 (-0.06) 5.17 (-0.09)
c01f92 2.09 (+0.25) 1.78 (-0.01) 1.81 (+0.03) 5.68 (+0.09)
7ff591 1.67 (-0.07) 1.80 (+0.01) 1.76 (+0.04) 5.23 (-0.01)
5d4774 1.79 (-0.80) 1.78 (-0.81) 1.70 (-0.81) 5.28 (-0.81)
56d8c2 9.17 (+0.01) 9.27 (-0.00) 9.10 (-0.05) 27.54 (-0.02)
12e6f4 9.07 (-0.00) 9.31 (-0.09) 9.59 (+0.03) 27.97 (-0.03)
12e6f4 9.09 (+0.03) 10.28 (+0.05) 9.33 (-0.12) 28.70 (-0.02)
61194a 8.80 (-0.16) 9.77 (-0.04) 10.61 (-0.04) 29.17 (-0.08)
70ce01 10.46 (+0.08) 10.23 (+0.24) 11.05 (+0.07) 31.74 (+0.12)
c04c20 9.73 (-0.04) 8.26 (-0.09) 10.29 (-0.14) 28.28 (-0.09)
827ee1 10.13 (-0.11) 9.04 (+0.08) 12.00 (+0.11) 31.16 (+0.02)
22ae67 11.42 (+0.06) 8.41 (-0.16) 10.78 (+0.10) 30.61 (-0.00)
0f4458 10.82 (-0.05) 9.99 (+0.22) 9.82 (-0.12) 30.63 (-0.00)
0f4458 11.44 (+0.18) 8.20 (-0.18) 11.10 (+0.18) 30.75 (+0.06)
0f4458 9.72 (-0.12) 10.00 (+0.02) 9.41 (-0.06) 29.13 (-0.06)
b8a566 11.07 (+0.06) 9.80 (+0.07) 9.99 (-0.16) 30.85 (-0.02)
b8a566 10.42 (-0.04) 9.17 (+0.08) 11.91 (-0.01) 31.51 (+0.00)
9747e9 10.80 (+0.03) 8.51 (-0.01) 12.07 (+0.22) 31.38 (+0.08)
b50e07 10.47 (+0.08) 8.61 (-0.12) 9.91 (-0.09) 28.99 (-0.05)
6a57d5 9.72 (+0.15) 9.79 (+0.11) 10.92 (-0.08) 30.44 (+0.04)
c0480f 8.45 (-0.05) 8.81 (-0.17) 11.88 (+0.29) 29.15 (+0.02)
4f443c 8.92 (-0.13) 10.58 (+0.17) 9.19 (-0.01) 28.69 (+0.01)
4f443c 10.22 (+0.03) 9.00 (-0.04) 9.28 (-0.04) 28.50 (-0.01)
788823 9.93 (-0.74) 9.35 (-0.77) 9.63 (-0.75) 28.91 (-0.75)
c21104 38.28 (+3.02) 40.29 (+3.76) 38.63 (+2.30) 117.20 (+2.95)
b9544a 9.52 (-0.18) 8.47 (-0.05) 11.70 (+0.21) 29.70 (-0.02)
33834c 11.67 (+0.34) 8.90 (+0.07) 9.69 (-0.10) 30.26 (+0.09)
521667 8.71 (-0.10) 8.28 (+0.04) 10.73 (+0.19) 27.73 (+0.04)
361648 9.70 (-0.10) 7.96 (-0.00) 9.03 (-0.02) 26.70 (-0.05)
fc0629 10.78 7.99 9.20 27.98

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query41]

platform: rds-aurora

revision Q41/1 Q41/2 Q41/3 total_duration
41aa62 13.32 (+0.15) 11.90 (-0.06) 11.89 (+0.18) 37.11 (+0.08)
7b5489 11.60 (-0.10) 12.71 (-0.08) 10.11 (-0.12) 34.43 (-0.10)
a23b07 12.96 (+0.13) 13.78 (-0.01) 11.51 (+0.03) 38.26 (+0.04)
cc2d00 11.52 (+0.08) 13.93 (+0.20) 11.18 (+0.01) 36.63 (+0.10)
ba9df2 10.65 (+0.25) 11.59 (-0.03) 11.10 (+0.30) 33.33 (+0.15)
a8f354 8.53 (+0.04) 11.98 (+0.05) 8.55 (+0.08) 29.07 (+0.06)
7feb0d 8.20 (-0.09) 11.36 (+0.02) 7.95 (-0.19) 27.52 (-0.08)
982fce 9.05 (-0.08) 11.16 (+0.21) 9.84 (+0.19) 30.06 (+0.10)
1f151d 9.84 (-0.07) 9.19 (+0.22) 8.29 (-0.14) 27.32 (-0.01)
ff1a1a 10.61 (-0.01) 7.52 (-0.29) 9.59 (+0.06) 27.73 (-0.09)
b1477b 10.77 (+0.12) 10.64 (+0.08) 9.04 (-0.24) 30.45 (-0.03)
1b947f 9.65 (-0.21) 9.83 (-0.18) 11.97 (+0.20) 31.46 (-0.08)
a21b55 12.22 (+0.08) 11.98 (-0.11) 10.00 (-0.15) 34.20 (-0.06)
4ba950 11.30 (+0.15) 13.39 (+0.25) 11.80 (+0.20) 36.49 (+0.20)
4e359d 9.85 (+0.08) 10.67 (-0.09) 9.84 (+0.09) 30.36 (+0.02)
3837fc 9.16 (-0.07) 11.72 (+0.35) 8.99 (+0.01) 29.87 (+0.09)
edcf4d 9.88 (+0.15) 8.67 (+0.04) 8.90 (-0.08) 27.46 (+0.03)
411c71 8.56 (-0.19) 8.34 (-0.17) 9.72 (+0.14) 26.63 (-0.09)
854348 10.61 (+0.14) 10.09 (-0.05) 8.52 (-0.06) 29.23 (+0.01)
7ba5c2 9.32 (+0.05) 10.60 (+0.18) 9.08 (-0.06) 29.00 (+0.06)
ebea29 8.83 (-0.06) 8.96 (+0.02) 9.63 (-0.17) 27.43 (-0.08)
22c890 9.40 (-0.08) 8.78 (-0.18) 11.60 (+0.23) 29.78 (-0.02)
f0b2e0 10.23 (+0.17) 10.66 (+0.13) 9.40 (+0.01) 30.29 (+0.10)
dec580 8.71 (-0.04) 9.46 (+0.04) 9.34 (+0.12) 27.51 (+0.04)
dec580 9.03 (+0.01) 9.07 (-0.14) 8.32 (-0.01) 26.42 (-0.05)
b1c2a6 8.95 (-0.14) 10.52 (+0.12) 8.38 (+0.03) 27.85 (-0.00)
931094 10.37 (+0.27) 9.42 (+0.13) 8.16 (-0.12) 27.95 (+0.08)
957acb 8.14 (-0.20) 8.32 (-0.08) 9.30 (+0.11) 25.76 (-0.06)
846532 10.15 (+0.22) 9.01 (+0.01) 8.37 (-0.11) 27.54 (+0.03)
d733bc 8.32 (+0.02) 8.92 (+0.05) 9.42 (+0.01) 26.66 (+0.03)
75ffe3 8.16 (-0.18) 8.54 (-0.13) 9.30 (+0.16) 26.00 (-0.07)
75ffe3 10.00 (-0.05) 9.80 (-0.16) 8.03 (-0.20) 27.83 (-0.14)
bf4623 10.49 (-0.02) 11.69 (-0.06) 10.05 (-0.00) 32.23 (-0.03)
b26c83 10.66 (+0.02) 12.49 (+0.15) 10.09 (-0.14) 33.24 (+0.00)
9d714a 10.45 (+0.03) 10.86 (-0.05) 11.77 (+0.16) 33.09 (+0.04)
6efea4 10.12 (-0.08) 11.48 (+0.10) 10.12 (+0.06) 31.73 (+0.02)
4071ff 11.01 (+0.09) 10.43 (-0.13) 9.53 (+0.11) 30.97 (+0.01)
4071ff 10.06 (-0.11) 12.05 (+0.18) 8.55 (-0.17) 30.67 (-0.04)
870ba4 11.30 (+0.13) 10.22 (-0.23) 10.27 (+0.14) 31.80 (-0.01)
f5ca89 10.04 (-0.22) 13.20 (+0.17) 8.98 (-0.21) 32.22 (-0.09)
8bd565 12.85 (+0.19) 11.30 (+0.08) 11.31 (+0.30) 35.46 (+0.18)
dd22c8 10.83 (-0.00) 10.50 (-0.05) 8.72 (-0.02) 30.05 (-0.02)
299db9 10.86 (-0.06) 11.05 (+0.25) 8.86 (-0.20) 30.76 (-0.02)
93f3f4 11.53 (+0.08) 8.82 (-0.27) 11.13 (+0.09) 31.49 (-0.04)
f6e2e0 10.67 (-0.07) 12.13 (+0.01) 10.17 (-0.09) 32.97 (-0.05)
f6e2e0 11.50 (+0.02) 12.02 (+0.04) 11.19 (+0.09) 34.71 (+0.05)
f6e2e0 11.26 (-0.14) 11.50 (+0.06) 10.29 (-0.03) 33.06 (-0.04)
f1d960 13.12 (+0.30) 10.82 (-0.10) 10.60 (-0.10) 34.54 (+0.02)
4a9279 10.10 (+0.06) 12.00 (-0.03) 11.83 (+0.23) 33.93 (+0.08)
2e4bf7 9.54 (+0.03) 12.40 (+0.05) 9.60 (-0.19) 31.54 (-0.04)
ce8fbb 9.30 (-0.20) 11.81 (+0.03) 11.88 (+0.28) 33.00 (+0.02)
ce8fbb 11.61 (-0.08) 11.52 (-0.11) 9.26 (-0.06) 32.40 (-0.09)
ce8fbb 12.65 (+0.29) 12.98 (-0.11) 9.83 (+0.03) 35.46 (+0.05)
d1a0f2 9.77 (-0.14) 14.57 (+0.39) 9.58 (-0.08) 33.92 (+0.05)
ccf92d 11.35 (-0.11) 10.52 (-0.07) 10.38 (+0.03) 32.25 (-0.06)
02b8e0 12.82 (+0.29) 11.36 (+0.11) 10.10 (-0.11) 34.28 (+0.09)
7b9057 9.96 (-0.03) 10.22 (-0.04) 11.31 (+0.07) 31.50 (+0.00)
9cada8 10.25 (+0.10) 10.64 (+0.09) 10.55 (-0.19) 31.44 (-0.02)
9cada8 9.30 (+0.01) 9.74 (-0.09) 12.96 (+0.16) 32.00 (+0.03)
9cada8 9.23 (-0.14) 10.76 (-0.02) 11.21 (+0.25) 31.21 (+0.01)
a60f68 10.79 (-0.01) 11.02 (-0.08) 8.99 (+0.01) 30.80 (-0.03)
d19c52 10.86 (-0.07) 11.97 (+0.11) 8.91 (-0.15) 31.75 (-0.03)
000eb1 11.65 (+0.00) 10.74 (-0.05) 10.47 (+0.16) 32.85 (+0.03)
000eb1 11.64 (+0.24) 11.31 (+0.20) 9.00 (-0.17) 31.96 (+0.08)
f51b48 9.37 (-0.00) 9.45 (+0.04) 10.86 (-0.07) 29.68 (-0.02)
f51b48 9.38 (-0.06) 9.06 (-0.15) 11.72 (+0.06) 30.16 (-0.05)
f51b48 9.94 (-0.13) 10.67 (-0.07) 11.09 (+0.29) 31.70 (+0.01)
9f906f 11.43 (-0.00) 11.45 (+0.19) 8.56 (-0.12) 31.45 (+0.02)
0692ff 11.46 (+0.19) 9.61 (-0.28) 9.72 (+0.06) 30.80 (-0.04)
2caece 9.63 (-0.07) 13.26 (+0.24) 9.17 (-0.06) 32.06 (+0.04)
bc7d3c 10.40 (-0.12) 10.74 (+0.10) 9.77 (+0.11) 30.91 (+0.02)
2153d2 11.77 (+0.25) 9.75 (-0.01) 8.82 (-0.24) 30.34 (-0.01)
2153d2 9.39 (+0.05) 9.85 (-0.10) 11.56 (+0.28) 30.80 (+0.06)
2153d2 8.96 (+0.04) 10.99 (+0.09) 9.01 (-0.06) 28.96 (+0.02)
a1b062 8.61 (-0.01) 10.11 (-0.06) 9.56 (+0.08) 28.29 (-0.00)
1d9d7c 8.72 (-0.14) 10.78 (-0.05) 8.85 (-0.07) 28.35 (-0.09)
3569c1 10.15 (-0.04) 11.37 (+0.18) 9.54 (+0.11) 31.06 (+0.08)
eaff14 10.53 (+0.12) 9.67 (-0.02) 8.62 (-0.25) 28.82 (-0.06)
f383b4 9.44 (+0.00) 9.85 (-0.08) 11.53 (+0.26) 30.82 (+0.05)
f383b4 9.42 (+0.12) 10.71 (-0.05) 9.19 (-0.02) 29.32 (+0.01)
f383b4 8.44 (-0.24) 11.30 (+0.16) 9.39 (+0.03) 29.14 (-0.03)
a4256b 11.16 (+0.14) 9.70 (+0.12) 9.09 (-0.01) 29.95 (+0.08)
371493 9.82 (+0.01) 8.63 (-0.12) 9.19 (-0.08) 27.64 (-0.06)
c5c143 9.70 (+0.08) 9.77 (+0.04) 10.02 (+0.04) 29.50 (+0.06)
58fa4f 8.95 (-0.00) 9.35 (-0.01) 9.60 (+0.04) 27.91 (+0.01)
121d53 8.98 (-0.15) 9.45 (+0.07) 9.21 (-0.01) 27.65 (-0.04)
121d53 10.56 (+0.02) 8.84 (+0.00) 9.30 (-0.07) 28.70 (-0.02)
ec3a3a 10.38 (+0.13) 8.82 (-0.13) 9.98 (+0.10) 29.19 (+0.03)
96e783 9.16 (+0.02) 10.18 (+0.13) 9.04 (-0.15) 28.38 (-0.01)
567b71 9.00 (-0.11) 9.02 (+0.10) 10.69 (+0.06) 28.71 (+0.01)
847fc5 10.14 (+0.12) 8.18 (-0.14) 10.12 (+0.01) 28.45 (-0.00)
5e08b3 9.07 (-0.18) 9.47 (+0.07) 10.00 (+0.12) 28.54 (-0.01)
4d291d 11.08 (+0.15) 8.84 (-0.01) 8.91 (-0.04) 28.82 (+0.04)
4d291d 9.64 (-0.01) 8.89 (-0.01) 9.31 (-0.11) 27.83 (-0.05)
bf63f1 9.76 (+0.02) 9.02 (+0.02) 10.50 (+0.24) 29.28 (+0.09)
0a0958 9.60 (-0.08) 8.85 (+0.04) 8.46 (-0.06) 26.90 (-0.04)
aabca5 10.46 (+0.23) 8.51 (-0.22) 8.98 (-0.01) 27.95 (-0.02)
a4be54 8.53 (-0.10) 10.97 (+0.36) 9.10 (-0.13) 28.61 (+0.02)
a3d7ad 9.43 (-0.04) 8.04 (-0.17) 10.48 (+0.24) 27.96 (+0.00)
a3d7ad 9.78 (+0.19) 9.68 (+0.19) 8.45 (-0.23) 27.91 (+0.02)
8ba169 8.20 (-0.12) 8.15 (-0.19) 11.00 (+0.29) 27.36 (-0.02)
e5cc2f 9.27 (+0.08) 10.09 (+0.15) 8.52 (-0.24) 27.88 (-0.02)
c6b56d 8.54 (-0.06) 8.80 (-0.18) 11.23 (+0.29) 28.57 (-0.00)
e067cd 9.08 (-0.13) 10.79 (+0.09) 8.72 (+0.04) 28.59 (-0.00)
bce423 10.43 (+0.25) 9.87 (+0.04) 8.41 (-0.07) 28.70 (+0.07)
bce423 8.32 (-0.15) 9.53 (-0.02) 9.02 (+0.11) 26.86 (-0.03)
c28bfd 9.74 (+0.11) 9.70 (-0.10) 8.14 (-0.02) 27.58 (-0.01)
95bf19 8.77 (+3.68) 10.77 (+5.33) 8.31 (+3.69) 27.85 (+4.21)
95bf19 1.87 (+0.01) 1.70 (-0.29) 1.77 (-0.24) 5.35 (-0.18)
080752 1.86 (+0.00) 2.38 (+0.41) 2.32 (+0.36) 6.56 (+0.25)
23d5e2 1.86 (+0.04) 1.69 (-0.16) 1.70 (-0.25) 5.25 (-0.14)
23d5e2 1.79 (+0.09) 2.00 (+0.05) 2.28 (+0.33) 6.07 (+0.15)
8b710b 1.64 (-0.09) 1.91 (+0.07) 1.71 (+0.01) 5.26 (-0.00)
8c6e60 1.79 (+0.07) 1.79 (+0.04) 1.70 (+0.06) 5.28 (+0.05)
10dae7 1.68 (-0.13) 1.72 (-0.19) 1.61 (-0.04) 5.01 (-0.13)
4c4d3d 1.93 (+0.16) 2.13 (+0.24) 1.68 (-0.17) 5.75 (+0.07)
9f94d0 1.66 (-0.01) 1.71 (+0.07) 2.01 (+0.13) 5.39 (+0.06)
9f94d0 1.68 (-0.04) 1.60 (-0.11) 1.79 (-0.00) 5.07 (-0.05)
9f94d0 1.75 (-0.14) 1.80 (-0.01) 1.79 (+0.06) 5.34 (-0.04)
c700c7 2.04 (+0.18) 1.82 (+0.02) 1.69 (-0.00) 5.54 (+0.06)
42c6dd 1.73 (-0.11) 1.78 (+0.03) 1.70 (+0.01) 5.21 (-0.03)
f6bf7b 1.95 (+0.10) 1.72 (+0.06) 1.68 (-0.05) 5.35 (+0.03)
1137b5 1.78 (+0.08) 1.62 (-0.04) 1.78 (+0.12) 5.18 (+0.05)
1468c6 1.66 (-0.01) 1.70 (-0.19) 1.59 (-0.11) 4.94 (-0.11)
1468c6 1.67 (+0.02) 2.09 (+0.28) 1.79 (+0.01) 5.55 (+0.10)
c01f92 1.64 (+0.02) 1.63 (-0.04) 1.78 (+0.11) 5.05 (+0.03)
7ff591 1.60 (-0.04) 1.69 (+0.05) 1.60 (+0.00) 4.90 (+0.01)
5d4774 1.67 (-0.82) 1.60 (-0.85) 1.59 (-0.80) 4.87 (-0.83)
56d8c2 9.19 (+0.00) 10.78 (+0.00) 8.11 (+0.02) 28.08 (+0.01)
12e6f4 9.18 (+0.09) 10.75 (+0.05) 7.96 (-0.06) 27.89 (+0.03)
12e6f4 8.43 (-0.03) 10.20 (+0.01) 8.43 (+0.05) 27.06 (+0.01)
61194a 8.68 (-0.22) 10.14 (+0.02) 8.04 (-0.08) 26.86 (-0.10)
70ce01 11.09 (+0.11) 9.92 (-0.05) 8.75 (-0.11) 29.76 (-0.02)
c04c20 10.02 (+0.06) 10.41 (-0.10) 9.87 (+0.13) 30.30 (+0.02)
827ee1 9.44 (-0.09) 11.58 (+0.20) 8.71 (-0.07) 29.72 (+0.01)
22ae67 10.41 (+0.10) 9.69 (-0.16) 9.32 (+0.10) 29.43 (-0.00)
0f4458 9.47 (-0.16) 11.59 (+0.13) 8.46 (-0.20) 29.53 (-0.08)
0f4458 11.26 (+0.15) 10.23 (-0.07) 10.57 (+0.21) 32.06 (+0.08)
0f4458 9.82 (+0.02) 11.04 (-0.07) 8.77 (+0.06) 29.63 (-0.01)
b8a566 9.65 (+0.04) 11.90 (+0.17) 8.29 (-0.22) 29.85 (-0.01)
b8a566 9.27 (-0.05) 10.20 (-0.09) 10.67 (+0.28) 30.14 (+0.03)
9747e9 9.77 (-0.04) 11.22 (+0.22) 8.31 (+0.02) 29.30 (+0.06)
b50e07 10.20 (+0.18) 9.20 (-0.19) 8.18 (+0.02) 27.59 (-0.01)
6a57d5 8.67 (-0.03) 11.29 (+0.25) 8.01 (-0.27) 27.97 (-0.03)
c0480f 8.94 (+0.02) 9.05 (-0.21) 10.91 (+0.26) 28.90 (+0.00)
4f443c 8.78 (-0.05) 11.43 (+0.04) 8.65 (+0.05) 28.87 (+0.01)
4f443c 9.20 (+0.06) 11.03 (-0.03) 8.21 (+0.11) 28.45 (+0.04)
788823 8.71 (-0.78) 11.36 (-0.73) 7.40 (-0.81) 27.47 (-0.77)
c21104 38.97 (+3.70) 42.81 (+2.86) 38.39 (+3.09) 120.17 (+3.18)
b9544a 8.29 (-0.22) 11.10 (+0.12) 9.39 (+0.13) 28.78 (-0.00)
33834c 10.62 (+0.27) 9.92 (+0.09) 8.30 (-0.17) 28.84 (+0.05)
521667 8.38 (-0.10) 9.07 (-0.03) 9.96 (+0.26) 27.41 (+0.03)
361648 9.26 (+0.12) 9.37 (-0.16) 7.92 (+0.07) 26.55 (-0.01)
fc0629 8.28 11.19 7.41 26.88

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query42]

platform: rds-aurora

revision Q42/1 Q42/2 Q42/3 total_duration
41aa62 13.92 (+0.14) 12.09 (-0.17) 14.01 (+0.13) 40.02 (+0.02)
7b5489 12.22 (-0.06) 14.50 (-0.02) 12.41 (-0.08) 39.12 (-0.05)
a23b07 13.05 (-0.07) 14.74 (+0.32) 13.49 (+0.13) 41.28 (+0.11)
cc2d00 14.05 (+0.35) 11.20 (+0.07) 11.99 (-0.07) 37.25 (+0.10)
ba9df2 10.42 (+0.07) 10.51 (-0.05) 12.86 (+0.25) 33.80 (+0.09)
a8f354 9.73 (+0.02) 11.01 (+0.06) 10.29 (+0.10) 31.03 (+0.06)
7feb0d 9.52 (+0.04) 10.39 (-0.15) 9.33 (-0.18) 29.23 (-0.11)
982fce 9.11 (-0.30) 12.20 (+0.37) 11.38 (+0.25) 32.70 (+0.06)
1f151d 12.96 (+0.55) 8.88 (-0.17) 9.10 (+0.06) 30.95 (+0.12)
ff1a1a 8.36 (-0.41) 10.67 (-0.07) 8.60 (-0.21) 27.63 (-0.25)
b1477b 14.27 (+0.39) 11.51 (+0.15) 10.88 (+0.03) 36.66 (+0.19)
1b947f 10.26 (-0.29) 10.03 (-0.02) 10.60 (-0.15) 30.89 (-0.17)
a21b55 14.47 (+0.30) 10.21 (-0.14) 12.51 (+0.04) 37.19 (+0.06)
4ba950 11.14 (+0.10) 11.83 (+0.15) 11.98 (+0.21) 34.95 (+0.15)
4e359d 10.14 (+0.07) 10.28 (-0.09) 9.92 (+0.00) 30.34 (-0.01)
3837fc 9.46 (-0.13) 11.30 (+0.14) 9.87 (+0.11) 30.63 (+0.03)
edcf4d 10.84 (+0.24) 9.90 (+0.00) 8.92 (-0.04) 29.67 (+0.06)
411c71 8.71 (-0.12) 9.87 (-0.04) 9.30 (-0.02) 27.88 (-0.06)
854348 9.90 (-0.00) 10.31 (-0.09) 9.49 (+0.04) 29.71 (-0.02)
7ba5c2 9.95 (+0.08) 11.37 (+0.15) 9.10 (+0.11) 30.43 (+0.11)
ebea29 9.20 (-0.08) 9.90 (-0.04) 8.19 (-0.19) 27.30 (-0.10)
22c890 9.95 (-0.26) 10.29 (+0.12) 10.14 (+0.15) 30.38 (-0.04)
f0b2e0 13.50 (+0.41) 9.20 (+0.01) 8.82 (-0.25) 31.51 (+0.03)
dec580 9.56 (-0.11) 9.10 (+0.00) 11.78 (+0.26) 30.45 (+0.05)
dec580 10.73 (+0.15) 9.09 (-0.13) 9.31 (+0.03) 29.14 (+0.01)
b1c2a6 9.30 (-0.13) 10.41 (+0.21) 9.00 (+0.03) 28.72 (+0.03)
931094 10.68 (+0.23) 8.58 (+0.06) 8.71 (-0.04) 27.97 (+0.08)
957acb 8.69 (-0.20) 8.12 (-0.05) 9.11 (+0.08) 25.92 (-0.07)
846532 10.88 (+0.23) 8.57 (+0.03) 8.42 (-0.12) 27.87 (+0.04)
d733bc 8.82 (+0.20) 8.30 (-0.25) 9.61 (+0.28) 26.73 (+0.03)
75ffe3 7.33 (-0.31) 11.07 (+0.29) 7.52 (-0.15) 25.92 (-0.07)
75ffe3 10.60 (+0.05) 8.58 (-0.25) 8.81 (-0.30) 27.99 (-0.18)
bf4623 10.12 (-0.18) 11.49 (+0.01) 12.60 (+0.15) 34.21 (-0.01)
b26c83 12.29 (+0.05) 11.39 (+0.01) 10.98 (+0.06) 34.66 (+0.04)
9d714a 11.71 (+0.03) 11.32 (+0.12) 10.40 (-0.26) 33.43 (-0.06)
6efea4 11.35 (-0.23) 10.08 (+0.10) 14.01 (+0.22) 35.45 (+0.00)
4071ff 14.66 (+0.05) 9.19 (-0.02) 11.51 (+0.01) 35.37 (+0.02)
4071ff 13.95 (+0.26) 9.38 (-0.06) 11.40 (-0.14) 34.74 (+0.01)
870ba4 11.07 (+0.01) 9.99 (-0.23) 13.22 (+0.31) 34.29 (+0.01)
f5ca89 10.94 (-0.07) 13.02 (+0.02) 10.08 (-0.15) 34.04 (-0.07)
8bd565 11.78 (+0.07) 12.78 (+0.23) 11.91 (+0.24) 36.48 (+0.18)
dd22c8 11.01 (-0.14) 10.43 (+0.00) 9.59 (-0.02) 31.03 (-0.06)
299db9 12.77 (-0.04) 10.40 (-0.19) 9.80 (+0.10) 32.97 (-0.06)
93f3f4 13.35 (+0.04) 12.78 (+0.33) 8.91 (-0.10) 35.05 (+0.08)
f6e2e0 12.89 (+0.25) 9.60 (-0.12) 9.92 (-0.22) 32.42 (-0.04)
f6e2e0 10.27 (-0.12) 10.90 (-0.08) 12.67 (+0.26) 33.84 (+0.01)
f6e2e0 11.61 (+0.06) 11.89 (+0.16) 10.04 (-0.26) 33.54 (-0.04)
f1d960 10.93 (-0.02) 10.29 (+0.04) 13.58 (+0.18) 34.80 (+0.07)
4a9279 11.14 (-0.20) 9.90 (-0.01) 11.49 (+0.10) 32.53 (-0.05)
2e4bf7 13.86 (+0.12) 9.99 (-0.11) 10.41 (-0.14) 34.26 (-0.04)
ce8fbb 12.36 (+0.08) 11.21 (+0.05) 12.10 (+0.12) 35.66 (+0.08)
ce8fbb 11.48 (-0.07) 10.63 (+0.09) 10.79 (-0.09) 32.91 (-0.03)
ce8fbb 12.31 (-0.05) 9.71 (-0.03) 11.88 (+0.14) 33.90 (+0.02)
d1a0f2 12.96 (+0.17) 9.98 (-0.02) 10.43 (-0.23) 33.37 (-0.04)
ccf92d 11.11 (-0.00) 10.18 (-0.01) 13.58 (+0.18) 34.87 (+0.06)
02b8e0 11.12 (+0.06) 10.29 (-0.03) 11.51 (+0.01) 32.92 (+0.01)
7b9057 10.53 (+0.02) 10.56 (-0.03) 11.41 (-0.09) 32.50 (-0.04)
9cada8 10.34 (+0.09) 10.92 (+0.08) 12.59 (+0.15) 33.86 (+0.11)
9cada8 9.45 (-0.06) 10.11 (+0.10) 10.92 (-0.07) 30.48 (-0.02)
9cada8 10.11 (-0.24) 9.20 (-0.06) 11.79 (+0.09) 31.10 (-0.08)
a60f68 13.34 (+0.24) 9.78 (-0.20) 10.80 (-0.06) 33.92 (-0.02)
d19c52 10.76 (-0.02) 12.27 (+0.11) 11.52 (+0.08) 34.55 (+0.06)
000eb1 10.93 (-0.10) 11.01 (+0.09) 10.62 (-0.02) 32.56 (-0.02)
000eb1 12.20 (+0.17) 10.12 (+0.02) 10.79 (-0.16) 33.12 (-0.00)
f51b48 10.43 (+0.10) 9.90 (-0.06) 12.81 (+0.08) 33.14 (+0.04)
f51b48 9.46 (-0.22) 10.49 (+0.08) 11.90 (+0.02) 31.85 (-0.05)
f51b48 12.17 (-0.04) 9.67 (-0.04) 11.72 (+0.05) 33.57 (-0.01)
9f906f 12.62 (+0.02) 10.08 (+0.06) 11.20 (+0.12) 33.90 (+0.06)
0692ff 12.34 (+0.10) 9.49 (-0.10) 10.00 (-0.00) 31.83 (+0.00)
2caece 11.17 (+0.08) 10.60 (+0.05) 10.01 (-0.22) 31.78 (-0.05)
bc7d3c 10.38 (-0.10) 10.12 (+0.06) 12.89 (+0.23) 33.39 (+0.06)
2153d2 11.58 (+0.10) 9.59 (+0.01) 10.48 (-0.08) 31.65 (+0.01)
2153d2 10.57 (-0.01) 9.51 (-0.23) 11.36 (+0.03) 31.43 (-0.07)
2153d2 10.62 (+0.08) 12.31 (+0.06) 11.01 (+0.23) 33.95 (+0.11)
a1b062 9.85 (-0.05) 11.62 (-0.02) 8.97 (-0.07) 30.45 (-0.05)
1d9d7c 10.40 (+0.09) 11.81 (+0.16) 9.69 (+0.10) 31.90 (+0.12)
3569c1 9.56 (-0.10) 10.18 (+0.06) 8.79 (-0.10) 28.54 (-0.05)
eaff14 10.59 (+0.12) 9.59 (+0.07) 9.79 (-0.16) 29.98 (-0.01)
f383b4 9.47 (+0.01) 8.98 (-0.08) 11.70 (+0.22) 30.16 (+0.05)
f383b4 9.38 (-0.01) 9.80 (-0.04) 9.59 (+0.04) 28.77 (-0.00)
f383b4 9.46 (-0.12) 10.22 (+0.11) 9.19 (+0.02) 28.87 (-0.00)
a4256b 10.75 (+0.01) 9.22 (-0.13) 8.99 (+0.09) 28.97 (-0.02)
371493 10.67 (-0.08) 10.59 (+0.17) 8.28 (-0.05) 29.54 (+0.01)
c5c143 11.66 (+0.13) 9.03 (-0.01) 8.67 (-0.22) 29.36 (-0.04)
58fa4f 10.31 (+0.07) 9.08 (+0.01) 11.12 (+0.00) 30.50 (+0.03)
121d53 9.65 (-0.25) 9.01 (-0.04) 11.08 (+0.35) 29.74 (-0.02)
121d53 12.86 (+0.12) 9.41 (+0.06) 8.18 (-0.00) 30.45 (+0.07)
ec3a3a 11.43 (+0.14) 8.90 (-0.17) 8.20 (-0.04) 28.53 (-0.02)
96e783 10.02 (+0.06) 10.70 (+0.07) 8.50 (-0.15) 29.22 (-0.01)
567b71 9.44 (+0.23) 10.03 (-0.09) 9.99 (+0.33) 29.47 (+0.13)
847fc5 7.66 (-0.21) 10.99 (+0.14) 7.49 (-0.32) 26.13 (-0.14)
5e08b3 9.65 (-0.08) 9.68 (-0.08) 11.00 (+0.23) 30.34 (+0.02)
4d291d 10.45 (-0.01) 10.49 (+0.02) 8.91 (+0.17) 29.85 (+0.05)
4d291d 10.53 (+0.12) 10.30 (+0.14) 7.62 (-0.30) 28.44 (-0.03)
bf63f1 9.44 (-0.16) 9.01 (-0.05) 10.88 (+0.25) 29.34 (-0.00)
0a0958 11.18 (+0.09) 9.48 (-0.00) 8.69 (+0.01) 29.35 (+0.04)
aabca5 10.26 (+0.10) 9.50 (-0.21) 8.59 (-0.18) 28.35 (-0.11)
a4be54 9.36 (-0.07) 12.02 (+0.33) 10.51 (+0.04) 31.89 (+0.09)
a3d7ad 10.05 (+0.07) 9.01 (-0.10) 10.08 (+0.15) 29.15 (+0.03)
a3d7ad 9.43 (+0.05) 10.00 (+0.11) 8.78 (-0.16) 28.21 (-0.01)
8ba169 9.01 (-0.09) 9.02 (-0.20) 10.48 (+0.17) 28.50 (-0.05)
e5cc2f 9.86 (+0.08) 11.23 (+0.29) 8.97 (-0.17) 30.06 (+0.05)
c6b56d 9.16 (-0.05) 8.70 (-0.15) 10.80 (+0.13) 28.66 (-0.03)
e067cd 9.67 (+0.03) 10.21 (-0.07) 9.58 (+0.07) 29.46 (+0.00)
bce423 9.36 (+0.01) 10.99 (+0.01) 8.99 (+0.20) 29.35 (+0.06)
bce423 9.27 (-0.05) 10.92 (+0.27) 7.49 (-0.29) 27.69 (-0.04)
c28bfd 9.76 (-0.02) 8.59 (-0.08) 10.50 (+0.07) 28.85 (-0.01)
95bf19 9.94 (+3.79) 9.32 (+4.16) 9.78 (+4.22) 29.04 (+4.04)
95bf19 2.08 (-0.10) 1.81 (-0.05) 1.87 (-0.14) 5.76 (-0.10)
080752 2.32 (+0.19) 1.91 (+0.00) 2.19 (-0.19) 6.41 (-0.02)
23d5e2 1.94 (+0.04) 1.90 (+0.01) 2.72 (+0.25) 6.57 (+0.11)
23d5e2 1.86 (-0.20) 1.89 (-0.30) 2.18 (-0.09) 5.93 (-0.20)
8b710b 2.32 (+0.19) 2.70 (+0.41) 2.40 (-0.07) 7.42 (+0.15)
8c6e60 1.96 (-0.28) 1.91 (-0.34) 2.59 (+0.18) 6.46 (-0.18)
10dae7 2.74 (+0.28) 2.90 (+0.46) 2.20 (+0.21) 7.84 (+0.32)
4c4d3d 2.14 (+0.12) 1.99 (-0.05) 1.81 (-0.04) 5.94 (+0.00)
9f94d0 1.92 (-0.07) 2.10 (-0.05) 1.89 (-0.05) 5.92 (-0.06)
9f94d0 2.06 (-0.09) 2.22 (-0.10) 1.99 (+0.04) 6.27 (-0.06)
9f94d0 2.27 (+0.21) 2.47 (+0.18) 1.91 (-0.13) 6.65 (+0.08)
c700c7 1.87 (+0.04) 2.09 (+0.16) 2.20 (+0.10) 6.17 (+0.10)
42c6dd 1.79 (-0.09) 1.80 (-0.08) 2.00 (-0.05) 5.59 (-0.07)
f6bf7b 1.96 (-0.01) 1.97 (-0.02) 2.10 (+0.06) 6.03 (+0.01)
1137b5 1.97 (-0.13) 2.01 (-0.16) 1.98 (-0.02) 5.97 (-0.11)
1468c6 2.28 (+0.00) 2.38 (+0.33) 2.03 (+0.12) 6.68 (+0.14)
1468c6 2.27 (+0.23) 1.79 (-0.02) 1.81 (-0.04) 5.87 (+0.05)
c01f92 1.85 (-0.28) 1.82 (-0.21) 1.89 (-0.10) 5.57 (-0.20)
7ff591 2.55 (+0.30) 2.29 (+0.27) 2.11 (-0.15) 6.96 (+0.11)
5d4774 1.95 (-0.78) 1.80 (-0.82) 2.49 (-0.74) 6.25 (-0.78)
56d8c2 9.05 (-0.03) 9.89 (+0.14) 9.52 (-0.07) 28.47 (+0.01)
12e6f4 9.33 (-0.00) 8.70 (-0.05) 10.23 (+0.12) 28.26 (+0.03)
12e6f4 9.34 (-0.00) 9.12 (-0.12) 9.10 (+0.03) 27.55 (-0.03)
61194a 9.35 (-0.24) 10.31 (+0.13) 8.81 (-0.07) 28.47 (-0.08)
70ce01 12.37 (+0.26) 9.11 (-0.07) 9.50 (-0.17) 30.99 (-0.00)
c04c20 9.82 (-0.04) 9.82 (-0.07) 11.51 (+0.08) 31.14 (-0.01)
827ee1 10.28 (-0.17) 10.58 (+0.10) 10.62 (-0.04) 31.48 (-0.05)
22ae67 12.33 (+0.13) 9.60 (-0.12) 11.10 (+0.16) 33.04 (+0.05)
0f4458 10.87 (-0.04) 10.92 (+0.20) 9.58 (-0.07) 31.38 (+0.02)
0f4458 11.37 (+0.07) 9.10 (-0.14) 10.31 (+0.08) 30.78 (+0.00)
0f4458 10.62 (-0.12) 10.62 (-0.03) 9.51 (-0.07) 30.75 (-0.07)
b8a566 12.03 (+0.24) 10.90 (-0.05) 10.21 (-0.17) 33.14 (-0.01)
b8a566 9.67 (-0.10) 11.49 (+0.14) 12.33 (+0.18) 33.49 (+0.07)
9747e9 10.74 (-0.01) 10.08 (+0.11) 10.43 (+0.02) 31.26 (+0.04)
b50e07 10.88 (+0.02) 9.11 (-0.12) 10.20 (+0.02) 30.19 (-0.03)
6a57d5 10.68 (+0.20) 10.31 (+0.12) 9.98 (-0.15) 30.97 (+0.04)
c0480f 8.92 (-0.07) 9.18 (-0.17) 11.71 (+0.29) 29.81 (+0.00)
4f443c 9.60 (-0.08) 11.08 (+0.06) 9.08 (-0.01) 29.77 (-0.01)
4f443c 10.40 (-0.03) 10.47 (+0.04) 9.21 (-0.03) 30.07 (-0.01)
788823 10.71 (-0.74) 10.09 (-0.76) 9.50 (-0.76) 30.30 (-0.75)
c21104 41.21 (+3.07) 41.89 (+3.46) 40.11 (+2.55) 123.21 (+3.00)
b9544a 10.12 (-0.16) 9.38 (-0.03) 11.30 (+0.15) 30.80 (-0.02)
33834c 11.99 (+0.30) 9.68 (+0.10) 9.80 (-0.11) 31.47 (+0.09)
521667 9.20 (-0.21) 8.79 (+0.05) 11.01 (+0.14) 29.00 (-0.02)
361648 11.59 (+0.25) 8.38 (-0.20) 9.70 (+0.09) 29.67 (+0.03)
fc0629 9.27 10.52 8.91 28.71

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query1]

platform: rds-aurora

revision Q1/1 total_duration
41aa62 279.10 (+0.01) 279.10 (+0.01)
7b5489 275.40 (-0.10) 275.40 (-0.10)
a23b07 307.36 (+0.11) 307.36 (+0.11)
cc2d00 277.32 (+0.06) 277.32 (+0.06)
ba9df2 261.86 (+0.10) 261.86 (+0.10)
a8f354 238.26 (+0.03) 238.26 (+0.03)
7feb0d 232.05 (-0.10) 232.05 (-0.10)
982fce 257.50 (+0.11) 257.50 (+0.11)
1f151d 231.98 (+0.01) 231.98 (+0.01)
ff1a1a 230.60 (-0.14) 230.60 (-0.14)
b1477b 266.81 (+0.00) 266.82 (+0.00)
1b947f 266.21 (-0.04) 266.21 (-0.04)
a21b55 277.77 (-0.03) 277.78 (-0.03)
4ba950 285.32 (+0.10) 285.32 (+0.10)
4e359d 258.22 (+0.03) 258.22 (+0.03)
3837fc 250.94 (+0.13) 250.94 (+0.13)
edcf4d 221.53 (-0.02) 221.53 (-0.02)
411c71 226.22 (-0.08) 226.22 (-0.08)
854348 246.12 (+0.06) 246.13 (+0.06)
7ba5c2 232.51 (-0.01) 232.51 (-0.01)
ebea29 235.18 (+0.00) 235.18 (+0.00)
22c890 234.73 (+0.04) 234.74 (+0.04)
f0b2e0 225.50 (+0.02) 225.50 (+0.02)
dec580 220.05 (+0.01) 220.05 (+0.01)
dec580 217.54 (-0.02) 217.54 (-0.02)
b1c2a6 220.99 (+0.02) 220.99 (+0.02)
931094 217.48 (+0.02) 217.48 (+0.02)
957acb 212.67 (-0.02) 212.68 (-0.02)
846532 216.20 (-0.00) 216.20 (-0.00)
d733bc 216.58 (+0.00) 216.58 (+0.00)
75ffe3 215.98 (+0.01) 215.98 (+0.01)
75ffe3 213.25 (-0.21) 213.25 (-0.21)
bf4623 270.04 (+0.00) 270.04 (+0.00)
b26c83 268.71 (-0.02) 268.71 (-0.02)
9d714a 273.02 (+0.04) 273.02 (+0.04)
6efea4 263.05 (-0.02) 263.05 (-0.02)
4071ff 267.92 (+0.05) 267.92 (+0.05)
870ba4 256.04 (-0.02) 256.04 (-0.02)
f5ca89 260.01 (+0.03) 260.01 (+0.03)
8bd565 253.18 (-0.02) 253.18 (-0.02)
dd22c8 257.07 (+0.00) 257.08 (+0.00)
299db9 257.03 (-0.00) 257.03 (-0.00)
93f3f4 257.72 (+0.03) 257.72 (+0.03)
f6e2e0 250.24 (-0.04) 250.24 (-0.04)
f6e2e0 261.17 (+0.03) 261.17 (+0.03)
f6e2e0 253.11 (-0.01) 253.11 (-0.01)
f1d960 255.53 (-0.03) 255.53 (-0.03)
4a9279 262.73 (+0.01) 262.73 (+0.01)
2e4bf7 259.67 (+0.02) 259.67 (+0.02)
ce8fbb 253.59 (-0.01) 253.59 (-0.01)
ce8fbb 256.30 (-0.01) 256.31 (-0.01)
ce8fbb 259.31 (-0.01) 259.31 (-0.01)
d1a0f2 262.44 (-0.02) 262.44 (-0.02)
ccf92d 267.41 (+0.01) 267.41 (+0.01)
02b8e0 263.94 (-0.02) 263.95 (-0.02)
7b9057 268.22 (+0.04) 268.22 (+0.04)
9cada8 257.39 (-0.02) 257.40 (-0.02)
9cada8 262.22 (-0.01) 262.23 (-0.01)
9cada8 265.20 (+0.01) 265.20 (+0.01)
a60f68 263.86 (-0.01) 263.86 (-0.01)
d19c52 266.70 (+0.01) 266.70 (+0.01)
000eb1 263.28 (-0.01) 263.29 (-0.01)
000eb1 264.82 (-0.00) 264.82 (-0.00)
f51b48 265.51 (-0.04) 265.51 (-0.04)
f51b48 275.68 (+0.04) 275.68 (+0.04)
f51b48 264.20 (+0.06) 264.20 (+0.06)
9f906f 248.21 (+0.06) 248.21 (+0.06)
0692ff 233.27 (-0.02) 233.27 (-0.02)
2caece 238.48 (+0.03) 238.48 (+0.03)
bc7d3c 230.60 (-0.00) 230.60 (-0.00)
2153d2 231.56 (-0.02) 231.56 (-0.02)
2153d2 236.29 (-0.03) 236.29 (-0.03)
2153d2 243.95 (+0.00) 243.95 (+0.00)
a1b062 243.38 (+0.02) 243.38 (+0.02)
1d9d7c 238.68 (-0.03) 238.68 (-0.03)
3569c1 245.36 (+0.01) 245.36 (+0.01)
eaff14 242.69 (-0.00) 242.69 (-0.00)
f383b4 243.21 (-0.01) 243.21 (-0.01)
f383b4 246.04 (+0.04) 246.04 (+0.04)
f383b4 237.38 (+0.06) 237.38 (+0.06)
a4256b 223.25 (-0.03) 223.25 (-0.03)
371493 230.34 (-0.00) 230.34 (-0.00)
c5c143 231.38 (-0.04) 231.38 (-0.04)
58fa4f 240.59 (+0.01) 240.59 (+0.01)
121d53 238.73 (+0.01) 238.73 (+0.01)
121d53 236.54 (-0.01) 236.54 (-0.01)
ec3a3a 238.25 (+0.02) 238.25 (+0.02)
96e783 234.44 (+0.01) 234.44 (+0.01)
567b71 231.12 (+0.02) 231.12 (+0.02)
847fc5 226.80 (-0.02) 226.80 (-0.02)
5e08b3 230.61 (-0.03) 230.62 (-0.03)
4d291d 237.88 (+0.02) 237.88 (+0.02)
4d291d 233.12 (-0.00) 233.12 (-0.00)
bf63f1 233.14 (-0.01) 233.14 (-0.01)
0a0958 234.46 (+0.01) 234.46 (+0.01)
aabca5 232.24 (-0.03) 232.24 (-0.03)
a4be54 240.14 (+0.03) 240.14 (+0.03)
a3d7ad 233.96 (-0.01) 233.96 (-0.01)
a3d7ad 236.35 (+0.02) 236.35 (+0.02)
8ba169 231.71 (-0.00) 231.71 (-0.00)
e5cc2f 232.38 (-0.02) 232.38 (-0.02)
c6b56d 236.01 (+0.02) 236.02 (+0.02)
e067cd 232.21 (-0.01) 232.21 (-0.01)
bce423 235.09 (+0.01) 235.09 (+0.01)
bce423 231.96 (+0.04) 231.96 (+0.04)
c28bfd 223.45 (-0.03) 223.45 (-0.03)
95bf19 229.61 (-0.01) 229.62 (-0.01)
95bf19 232.02 (-0.00) 232.02 (-0.00)
080752 232.28 (-0.03) 232.28 (-0.03)
23d5e2 239.05 (+0.01) 239.05 (+0.01)
23d5e2 237.14 (+0.02) 237.14 (+0.02)
8b710b 232.93 (-0.02) 232.93 (-0.02)
8c6e60 237.10 (-0.01) 237.10 (-0.01)
10dae7 238.89 (+0.01) 238.89 (+0.01)
4c4d3d 237.51 (+0.01) 237.51 (+0.01)
9f94d0 234.13 (-0.00) 234.13 (-0.00)
9f94d0 235.12 (+0.05) 235.12 (+0.05)
9f94d0 223.06 (+0.01) 223.06 (+0.01)
c700c7 219.80 (-0.02) 219.80 (-0.02)
42c6dd 224.30 (+0.03) 224.30 (+0.03)
f6bf7b 218.62 (-0.00) 218.62 (-0.00)
1137b5 219.55 (+0.00) 219.55 (+0.00)
1468c6 219.22 (+0.02) 219.23 (+0.02)
1468c6 215.94 (-0.00) 215.94 (-0.00)
c01f92 216.12 (+0.03) 216.12 (+0.03)
7ff591 210.69 (-0.02) 210.69 (-0.02)
5d4774 214.67 (+0.03) 214.67 (+0.03)
56d8c2 208.71 (-0.04) 208.71 (-0.04)
12e6f4 217.24 (-0.08) 217.24 (-0.08)
12e6f4 235.24 (+0.12) 235.24 (+0.12)
12e6f4 210.00 (-0.02) 210.00 (-0.02)
61194a 213.46 (-0.11) 213.46 (-0.11)
70ce01 239.00 (+0.00) 239.00 (+0.00)
c04c20 237.88 (-0.04) 237.88 (-0.04)
827ee1 248.27 (-0.00) 248.27 (-0.00)
22ae67 249.27 (+0.00) 249.27 (+0.00)
0f4458 248.59 (-0.01) 248.59 (-0.01)
0f4458 250.19 (+0.01) 250.19 (+0.01)
0f4458 248.14 (+7.65) 248.14 (+2.64)
83faef 28.68 68.26

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query2]

platform: rds-aurora

revision Q2/1 total_duration
41aa62 364.15 (+0.01) 364.15 (+0.01)
7b5489 360.82 (-0.09) 360.82 (-0.09)
a23b07 396.88 (+0.08) 396.88 (+0.08)
cc2d00 367.66 (+0.09) 367.66 (+0.09)
ba9df2 338.08 (+0.06) 338.08 (+0.06)
a8f354 320.13 (+0.00) 320.13 (+0.00)
7feb0d 319.76 (-0.07) 319.76 (-0.07)
982fce 345.25 (+0.09) 345.25 (+0.09)
1f151d 315.51 (+0.00) 315.51 (+0.00)
ff1a1a 314.36 (-0.11) 314.36 (-0.11)
b1477b 351.80 (+0.01) 351.80 (+0.01)
1b947f 348.18 (-0.05) 348.18 (-0.05)
a21b55 367.57 (-0.01) 367.57 (-0.01)
4ba950 372.73 (+0.14) 372.73 (+0.14)
4e359d 327.30 (-0.02) 327.30 (-0.02)
3837fc 333.13 (+0.04) 333.13 (+0.04)
edcf4d 318.99 (+0.02) 318.99 (+0.02)
411c71 311.69 (-0.07) 311.69 (-0.07)
854348 336.33 (+0.00) 336.34 (+0.00)
7ba5c2 334.69 (+0.01) 334.69 (+0.01)
ebea29 331.43 (-0.02) 331.43 (-0.02)
22c890 339.62 (+0.06) 339.63 (+0.06)
f0b2e0 319.50 (+0.03) 319.50 (+0.03)
dec580 311.05 (+0.00) 311.05 (+0.00)
dec580 310.74 (+0.00) 310.74 (+0.00)
b1c2a6 309.95 (+0.01) 309.95 (+0.01)
931094 307.60 (+0.00) 307.60 (+0.00)
957acb 306.16 (-0.01) 306.16 (-0.01)
846532 307.95 (+0.01) 307.95 (+0.01)
d733bc 303.43 (-0.01) 303.43 (-0.01)
75ffe3 306.71 (+0.02) 306.71 (+0.02)
75ffe3 300.48 (-0.16) 300.48 (-0.16)
bf4623 356.99 (-0.00) 357.00 (-0.00)
b26c83 357.51 (+0.01) 357.51 (+0.01)
9d714a 354.93 (+0.01) 354.93 (+0.01)
6efea4 350.70 (-0.01) 350.70 (-0.01)
4071ff 355.34 (+0.01) 355.34 (+0.01)
870ba4 352.60 (+0.01) 352.60 (+0.01)
f5ca89 347.62 (-0.01) 347.62 (-0.01)
8bd565 352.44 (-0.01) 352.44 (-0.01)
dd22c8 356.46 (+0.02) 356.46 (+0.02)
299db9 348.38 (-0.01) 348.38 (-0.01)
93f3f4 353.63 (-0.00) 353.63 (-0.00)
f6e2e0 353.88 (-0.00) 353.88 (-0.00)
f6e2e0 355.01 (+0.00) 355.01 (+0.00)
f6e2e0 353.81 (+0.00) 353.81 (+0.00)
f1d960 353.05 (-0.01) 353.05 (-0.01)
4a9279 358.26 (+0.02) 358.26 (+0.02)
2e4bf7 352.80 (+0.01) 352.80 (+0.01)
ce8fbb 350.63 (-0.00) 350.63 (-0.00)
ce8fbb 352.04 (-0.00) 352.04 (-0.00)
ce8fbb 352.86 (+0.00) 352.86 (+0.00)
d1a0f2 351.65 (-0.00) 351.66 (-0.00)
ccf92d 352.38 (-0.00) 352.38 (-0.00)
02b8e0 352.94 (+0.01) 352.94 (+0.01)
7b9057 350.79 (+0.02) 350.79 (+0.02)
9cada8 343.43 (-0.02) 343.43 (-0.02)
9cada8 349.52 (+0.01) 349.52 (+0.01)
9cada8 346.46 (-0.01) 346.46 (-0.01)
a60f68 348.71 (+0.00) 348.71 (+0.00)
d19c52 348.53 (+0.00) 348.53 (+0.00)
000eb1 346.97 (+0.00) 346.97 (+0.00)
000eb1 345.32 (-0.00) 345.32 (-0.00)
f51b48 346.63 (+0.01) 346.63 (+0.01)
f51b48 343.92 (-0.01) 343.92 (-0.01)
f51b48 347.95 (-0.00) 347.95 (-0.00)
9f906f 348.60 (+0.05) 348.60 (+0.05)
0692ff 331.85 (+0.00) 331.85 (+0.00)
2caece 331.61 (-0.01) 331.61 (-0.01)
bc7d3c 333.80 (+0.01) 333.80 (+0.01)
2153d2 331.12 (+0.01) 331.12 (+0.01)
2153d2 329.27 (+0.01) 329.27 (+0.01)
2153d2 325.59 (-0.03) 325.59 (-0.03)
a1b062 334.35 (+0.02) 334.35 (+0.02)
1d9d7c 327.74 (-0.01) 327.74 (-0.01)
3569c1 331.32 (+0.00) 331.32 (+0.00)
eaff14 329.95 (+0.02) 329.96 (+0.02)
f383b4 323.09 (-0.01) 323.09 (-0.01)
f383b4 327.54 (+0.03) 327.54 (+0.03)
f383b4 319.37 (-0.01) 319.37 (-0.01)
a4256b 323.31 (-0.00) 323.31 (-0.00)
371493 324.05 (-0.01) 324.05 (-0.01)
c5c143 327.07 (-0.00) 327.07 (-0.00)
58fa4f 327.12 (+0.01) 327.12 (+0.01)
121d53 322.90 (-0.00) 322.90 (-0.00)
121d53 323.72 (-0.01) 323.73 (-0.01)
ec3a3a 326.64 (+0.01) 326.64 (+0.01)
96e783 323.34 (+0.00) 323.34 (+0.00)
567b71 322.52 (-0.00) 322.52 (-0.00)
847fc5 323.02 (-0.00) 323.02 (-0.00)
5e08b3 323.93 (+0.02) 323.93 (+0.02)
4d291d 317.37 (+0.00) 317.37 (+0.00)
4d291d 316.89 (-0.00) 316.89 (-0.00)
bf63f1 318.44 (-0.00) 318.44 (-0.00)
0a0958 318.90 (+0.01) 318.90 (+0.01)
aabca5 314.41 (-0.01) 314.41 (-0.01)
a4be54 317.95 (+0.01) 317.95 (+0.01)
a3d7ad 314.41 (-0.00) 314.41 (-0.00)
a3d7ad 314.42 (+0.00) 314.42 (+0.00)
8ba169 314.18 (-0.00) 314.18 (-0.00)
e5cc2f 314.37 (-0.01) 314.37 (-0.01)
c6b56d 318.66 (+0.02) 318.66 (+0.02)
e067cd 311.27 (+1.69) 311.27 (+1.69)
bce423 115.55 (-0.64) 115.55 (-0.64)
bce423 316.90 (+0.01) 316.90 (+0.01)
c28bfd 313.03 (-0.00) 313.04 (-0.00)
95bf19 314.07 (+1.58) 314.07 (+1.58)
95bf19 121.86 (-0.05) 121.86 (-0.05)
080752 127.85 (+0.16) 127.85 (+0.16)
23d5e2 110.61 (-0.02) 110.61 (-0.02)
23d5e2 113.33 (-0.02) 113.33 (-0.02)
8b710b 115.97 (+0.02) 115.97 (+0.02)
8c6e60 113.35 (-0.02) 113.35 (-0.02)
10dae7 115.39 (+0.02) 115.39 (+0.02)
4c4d3d 112.84 (-0.00) 112.84 (-0.00)
9f94d0 112.95 (-0.05) 112.95 (-0.05)
9f94d0 118.97 (+0.06) 118.97 (+0.06)
9f94d0 111.79 (+0.02) 111.79 (+0.02)
c700c7 109.11 (-0.02) 109.11 (-0.02)
42c6dd 111.22 (+0.02) 111.22 (+0.02)
f6bf7b 108.52 (-0.01) 108.52 (-0.01)
1137b5 109.97 (-0.01) 109.97 (-0.01)
1468c6 110.96 (+0.01) 110.96 (+0.01)
1468c6 110.27 (+0.01) 110.27 (+0.01)
c01f92 109.21 (-0.15) 109.21 (-0.15)
7ff591 129.01 (-0.01) 129.01 (-0.01)
5d4774 130.32 (-0.56) 130.32 (-0.56)
56d8c2 297.80 (+0.00) 297.80 (+0.00)
12e6f4 297.12 (-0.00) 297.12 (-0.00)
12e6f4 297.59 (+0.00) 297.59 (+0.00)
12e6f4 297.58 (-0.01) 297.58 (-0.01)
61194a 301.16 (-0.09) 301.16 (-0.09)
70ce01 330.57 (+0.01) 330.57 (+0.01)
c04c20 327.47 (+0.01) 327.47 (+0.01)
827ee1 325.12 (-0.00) 325.12 (-0.00)
22ae67 325.75 (+0.02) 325.75 (+0.02)
0f4458 320.80 (-0.01) 320.80 (-0.01)
0f4458 324.99 (-0.03) 324.99 (-0.03)
0f4458 334.76 (+33.97) 334.76 (+28.61)
83faef 9.57 11.31

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query3]

platform: rds-aurora

revision Q3/1 total_duration
41aa62 176.60 (+0.02) 176.60 (+0.02)
7b5489 172.83 (-0.11) 172.84 (-0.11)
a23b07 193.84 (+0.13) 193.84 (+0.13)
cc2d00 172.12 (+0.06) 172.12 (+0.06)
ba9df2 162.61 (+0.18) 162.61 (+0.18)
a8f354 137.83 (+0.01) 137.83 (+0.01)
7feb0d 136.47 (-0.11) 136.47 (-0.11)
982fce 153.72 (+0.15) 153.72 (+0.15)
1f151d 133.97 (+0.04) 133.97 (+0.04)
ff1a1a 128.51 (-0.16) 128.51 (-0.16)
b1477b 152.29 (-0.04) 152.29 (-0.04)
1b947f 158.74 (-0.04) 158.74 (-0.04)
a21b55 164.69 (-0.00) 164.69 (-0.00)
4ba950 165.47 (+0.10) 165.47 (+0.10)
4e359d 150.35 (+0.01) 150.35 (+0.01)
3837fc 148.92 (+0.13) 148.92 (+0.13)
edcf4d 131.46 (+0.02) 131.46 (+0.02)
411c71 128.51 (-0.07) 128.51 (-0.07)
854348 138.61 (-0.00) 138.61 (-0.00)
7ba5c2 139.21 (+0.01) 139.21 (+0.01)
ebea29 138.33 (-0.01) 138.33 (-0.01)
22c890 140.13 (+0.04) 140.13 (+0.04)
f0b2e0 135.10 (+0.06) 135.10 (+0.06)
dec580 127.07 (+0.00) 127.07 (+0.00)
dec580 127.03 (-0.01) 127.03 (-0.01)
b1c2a6 128.42 (+0.00) 128.42 (+0.00)
931094 127.95 (+0.04) 127.96 (+0.04)
957acb 122.58 (+0.00) 122.58 (+0.00)
846532 122.19 (+0.01) 122.19 (+0.01)
d733bc 120.85 (-0.03) 120.85 (-0.03)
75ffe3 124.93 (+0.01) 124.93 (+0.01)
75ffe3 124.16 (-0.19) 124.16 (-0.19)
bf4623 152.98 (-0.02) 152.98 (-0.02)
b26c83 156.81 (+0.00) 156.81 (+0.00)
9d714a 156.52 (-0.02) 156.52 (-0.02)
6efea4 160.26 (+0.05) 160.26 (+0.05)
4071ff 151.96 (+0.02) 151.96 (+0.02)
870ba4 149.23 (-0.02) 149.23 (-0.02)
f5ca89 151.93 (-0.03) 151.93 (-0.03)
8bd565 156.24 (+0.02) 156.24 (+0.02)
dd22c8 153.57 (-0.01) 153.58 (-0.01)
299db9 155.23 (+0.01) 155.23 (+0.01)
93f3f4 153.47 (+0.02) 153.47 (+0.02)
f6e2e0 150.52 (-0.01) 150.52 (-0.01)
f6e2e0 151.96 (+0.00) 151.96 (+0.00)
f6e2e0 151.34 (-0.01) 151.34 (-0.01)
f1d960 153.55 (-0.07) 153.55 (-0.07)
4a9279 164.72 (+0.10) 164.72 (+0.10)
2e4bf7 149.71 (-0.02) 149.71 (-0.02)
ce8fbb 153.45 (+0.02) 153.45 (+0.02)
ce8fbb 149.91 (-0.06) 149.91 (-0.06)
ce8fbb 159.45 (-0.00) 159.45 (-0.00)
d1a0f2 160.08 (+0.03) 160.08 (+0.03)
ccf92d 155.69 (+0.03) 155.69 (+0.03)
02b8e0 150.68 (-0.02) 150.68 (-0.02)
7b9057 154.17 (+0.05) 154.17 (+0.05)
9cada8 146.23 (-0.05) 146.23 (-0.05)
9cada8 153.95 (+0.03) 153.95 (+0.03)
9cada8 149.18 (-0.10) 149.18 (-0.10)
a60f68 164.89 (+0.12) 164.89 (+0.12)
d19c52 147.00 (-0.01) 147.01 (-0.01)
000eb1 148.89 (-0.05) 148.89 (-0.05)
000eb1 156.29 (+0.01) 156.29 (+0.01)
f51b48 154.81 (+0.00) 154.81 (+0.00)
f51b48 154.27 (+0.03) 154.27 (+0.03)
f51b48 150.02 (+0.03) 150.02 (+0.03)
9f906f 146.20 (+0.08) 146.20 (+0.08)
0692ff 135.68 (-0.07) 135.68 (-0.07)
2caece 146.36 (+0.03) 146.36 (+0.03)
bc7d3c 141.70 (+0.01) 141.70 (+0.01)
2153d2 140.04 (-0.00) 140.04 (-0.00)
2153d2 140.59 (+0.01) 140.60 (+0.01)
2153d2 139.44 (-0.01) 139.45 (-0.01)
a1b062 140.53 (-0.01) 140.54 (-0.01)
1d9d7c 142.26 (+0.02) 142.27 (+0.02)
3569c1 138.93 (+0.03) 138.93 (+0.03)
eaff14 134.37 (-0.04) 134.37 (-0.04)
f383b4 140.30 (+0.03) 140.31 (+0.03)
f383b4 136.32 (+0.01) 136.32 (+0.01)
f383b4 134.72 (-0.01) 134.72 (-0.01)
a4256b 135.43 (+0.01) 135.43 (+0.01)
371493 133.66 (-0.03) 133.67 (-0.03)
c5c143 138.10 (+0.04) 138.10 (+0.04)
58fa4f 132.80 (-0.02) 132.80 (-0.02)
121d53 135.31 (+0.03) 135.31 (+0.03)
121d53 131.33 (-0.02) 131.33 (-0.02)
ec3a3a 134.32 (-0.02) 134.32 (-0.02)
96e783 137.34 (+0.02) 137.34 (+0.02)
567b71 134.03 (+0.01) 134.03 (+0.01)
847fc5 133.19 (+0.02) 133.19 (+0.02)
5e08b3 131.05 (-0.01) 131.05 (-0.01)
4d291d 132.65 (-0.00) 132.65 (-0.00)
4d291d 132.80 (+0.02) 132.80 (+0.02)
bf63f1 129.80 (-0.01) 129.80 (-0.01)
0a0958 131.18 (-0.01) 131.18 (-0.01)
aabca5 132.75 (+0.01) 132.75 (+0.01)
a4be54 131.47 (-0.01) 131.47 (-0.01)
a3d7ad 133.15 (+0.02) 133.15 (+0.02)
a3d7ad 130.29 (+0.02) 130.29 (+0.02)
8ba169 128.10 (-0.01) 128.11 (-0.01)
e5cc2f 129.90 (-0.02) 129.90 (-0.02)
c6b56d 132.76 (+0.02) 132.76 (+0.02)
e067cd 130.64 (-0.01) 130.64 (-0.01)
bce423 131.58 (-0.01) 131.58 (-0.01)
bce423 133.37 (+0.06) 133.37 (+0.06)
c28bfd 126.36 (-0.04) 126.36 (-0.04)
95bf19 131.23 (-0.01) 131.23 (-0.01)
95bf19 132.69 (-0.03) 132.69 (-0.03)
080752 137.09 (-0.00) 137.09 (-0.00)
23d5e2 137.37 (+0.02) 137.37 (+0.02)
23d5e2 134.87 (+0.00) 134.88 (+0.00)
8b710b 134.55 (-0.01) 134.55 (-0.01)
8c6e60 135.59 (+0.03) 135.59 (+0.03)
10dae7 131.33 (-0.01) 131.33 (-0.01)
4c4d3d 132.39 (+0.02) 132.39 (+0.02)
9f94d0 130.25 (-0.05) 130.25 (-0.05)
9f94d0 137.23 (+0.10) 137.23 (+0.10)
9f94d0 124.23 (-0.01) 124.24 (-0.01)
c700c7 124.98 (-0.03) 124.98 (-0.03)
42c6dd 129.00 (+0.07) 129.00 (+0.07)
f6bf7b 120.06 (-0.02) 120.06 (-0.02)
1137b5 122.85 (-0.01) 122.85 (-0.01)
1468c6 124.11 (-0.01) 124.11 (-0.01)
1468c6 125.94 (+0.02) 125.94 (+0.02)
c01f92 123.16 (-0.00) 123.16 (-0.00)
7ff591 123.28 (-0.01) 123.28 (-0.01)
5d4774 124.23 (-0.02) 124.23 (-0.02)
56d8c2 126.79 (+0.00) 126.79 (+0.00)
12e6f4 126.25 (+0.02) 126.25 (+0.02)
12e6f4 123.87 (-0.03) 123.87 (-0.03)
12e6f4 127.05 (-0.06) 127.05 (-0.06)
61194a 135.83 (-0.05) 135.83 (-0.05)
70ce01 143.35 (+0.00) 143.35 (+0.00)
c04c20 143.19 (+0.03) 143.19 (+0.03)
827ee1 138.94 (-0.01) 138.94 (-0.01)
22ae67 139.89 (+0.03) 139.89 (+0.03)
0f4458 136.02 (-0.04) 136.02 (-0.04)
0f4458 142.26 (-0.01) 142.26 (-0.01)
0f4458 143.66 (+8.91) 143.66 (+6.42)
83faef 14.50 19.37

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query4]

platform: rds-aurora

revision Q4/1 total_duration
41aa62 472.05 (+0.03) 472.05 (+0.03)
7b5489 460.33 (-0.12) 460.33 (-0.12)
a23b07 521.90 (+0.11) 521.91 (+0.11)
cc2d00 470.69 (+0.08) 470.69 (+0.08)
ba9df2 434.92 (+0.17) 434.92 (+0.17)
a8f354 370.44 (-0.00) 370.45 (-0.00)
7feb0d 371.02 (-0.11) 371.03 (-0.11)
982fce 415.89 (+0.14) 415.89 (+0.14)
1f151d 365.05 (-0.01) 365.05 (-0.01)
ff1a1a 368.05 (-0.12) 368.06 (-0.12)
b1477b 416.63 (-0.02) 416.63 (-0.02)
1b947f 424.21 (-0.02) 424.21 (-0.02)
a21b55 434.57 (-0.04) 434.57 (-0.04)
4ba950 451.39 (+0.14) 451.39 (+0.14)
4e359d 395.01 (-0.00) 395.01 (-0.00)
3837fc 395.22 (+0.04) 395.22 (+0.04)
edcf4d 379.18 (+0.06) 379.18 (+0.06)
411c71 358.66 (-0.06) 358.66 (-0.06)
854348 383.30 (+0.00) 383.30 (+0.00)
7ba5c2 382.92 (+0.01) 382.92 (+0.01)
ebea29 379.74 (-0.03) 379.74 (-0.03)
22c890 389.84 (+0.02) 389.84 (+0.02)
f0b2e0 380.70 (+0.06) 380.70 (+0.06)
dec580 360.20 (+0.01) 360.21 (+0.01)
dec580 355.34 (+0.01) 355.34 (+0.01)
b1c2a6 352.54 (-0.03) 352.54 (-0.03)
931094 362.27 (+0.03) 362.27 (+0.03)
957acb 352.04 (-0.03) 352.04 (-0.03)
846532 362.84 (+0.01) 362.85 (+0.01)
d733bc 360.53 (-0.00) 360.53 (-0.00)
75ffe3 362.06 (+0.03) 362.06 (+0.03)
75ffe3 351.20 (-0.16) 351.20 (-0.16)
bf4623 415.70 (-0.00) 415.70 (-0.00)
b26c83 417.36 (+0.00) 417.36 (+0.00)
9d714a 417.18 (-0.01) 417.18 (-0.01)
6efea4 423.18 (+0.03) 423.18 (+0.03)
4071ff 410.36 (+0.02) 410.36 (+0.02)
870ba4 402.44 (-0.03) 402.44 (-0.03)
f5ca89 416.69 (-0.00) 416.69 (-0.00)
8bd565 418.72 (+0.00) 418.72 (+0.00)
dd22c8 418.56 (+0.02) 418.56 (+0.02)
299db9 410.32 (-0.04) 410.32 (-0.04)
93f3f4 427.55 (+0.04) 427.55 (+0.04)
f6e2e0 410.81 (-0.03) 410.81 (-0.03)
f6e2e0 423.74 (+0.02) 423.74 (+0.02)
f6e2e0 415.01 (-0.00) 415.01 (-0.00)
f1d960 417.06 (-0.02) 417.06 (-0.02)
4a9279 426.94 (+0.03) 426.94 (+0.03)
2e4bf7 415.97 (+0.00) 415.97 (+0.00)
ce8fbb 415.88 (+0.01) 415.88 (+0.01)
ce8fbb 413.59 (-0.01) 413.59 (-0.01)
ce8fbb 415.69 (-0.04) 415.69 (-0.04)
d1a0f2 433.64 (+0.04) 433.64 (+0.04)
ccf92d 418.63 (-0.02) 418.63 (-0.02)
02b8e0 427.76 (+0.02) 427.76 (+0.02)
7b9057 420.52 (+0.02) 420.52 (+0.02)
9cada8 410.34 (+0.00) 410.34 (+0.00)
9cada8 409.95 (-0.02) 409.95 (-0.02)
9cada8 418.46 (-0.04) 418.46 (-0.04)
a60f68 434.29 (+0.05) 434.29 (+0.05)
d19c52 412.55 (-0.02) 412.55 (-0.02)
000eb1 422.88 (+0.02) 422.88 (+0.02)
000eb1 412.80 (+0.01) 412.80 (+0.01)
f51b48 408.70 (+0.00) 408.70 (+0.00)
f51b48 408.00 (+0.01) 408.00 (+0.01)
f51b48 403.46 (+0.00) 403.46 (+0.00)
9f906f 402.94 (+0.02) 402.94 (+0.02)
0692ff 393.44 (+0.03) 393.44 (+0.03)
2caece 381.33 (-0.02) 381.33 (-0.02)
bc7d3c 389.36 (+0.01) 389.36 (+0.01)
2153d2 385.44 (-0.01) 385.44 (-0.01)
2153d2 389.03 (-0.00) 389.03 (-0.00)
2153d2 389.32 (+0.03) 389.32 (+0.03)
a1b062 379.34 (-0.03) 379.34 (-0.03)
1d9d7c 390.46 (+0.00) 390.46 (+0.00)
3569c1 388.76 (+0.02) 388.77 (+0.02)
eaff14 381.44 (-0.01) 381.44 (-0.01)
f383b4 386.47 (+0.02) 386.47 (+0.02)
f383b4 380.42 (+0.05) 380.42 (+0.05)
f383b4 363.35 (-0.05) 363.35 (-0.05)
a4256b 383.01 (-0.01) 383.01 (-0.01)
371493 385.30 (-0.00) 385.30 (-0.00)
c5c143 386.36 (+0.01) 386.36 (+0.01)
58fa4f 382.36 (-0.02) 382.36 (-0.02)
121d53 390.15 (+0.03) 390.15 (+0.03)
121d53 379.40 (-0.01) 379.40 (-0.01)
ec3a3a 383.72 (+0.01) 383.72 (+0.01)
96e783 379.79 (+0.02) 379.79 (+0.02)
567b71 373.87 (-0.01) 373.87 (-0.01)
847fc5 377.67 (-0.02) 377.67 (-0.02)
5e08b3 385.60 (+0.03) 385.60 (+0.03)
4d291d 373.28 (+0.00) 373.28 (+0.00)
4d291d 372.00 (+0.01) 372.00 (+0.01)
bf63f1 369.73 (-0.01) 369.73 (-0.01)
0a0958 373.84 (+0.02) 373.84 (+0.02)
aabca5 366.24 (-0.01) 366.24 (-0.01)
a4be54 369.96 (+0.01) 369.96 (+0.01)
a3d7ad 367.94 (-0.02) 367.94 (-0.02)
a3d7ad 375.86 (+0.01) 375.86 (+0.01)
8ba169 371.52 (+0.01) 371.52 (+0.01)
e5cc2f 369.02 (+0.00) 369.02 (+0.00)
c6b56d 368.21 (+0.01) 368.21 (+0.01)
e067cd 366.32 (-0.02) 366.32 (-0.02)
bce423 372.52 (+0.01) 372.52 (+0.01)
bce423 370.03 (-0.01) 370.03 (-0.01)
c28bfd 373.86 (+0.00) 373.86 (+0.00)
95bf19 372.29 (+0.02) 372.29 (+0.02)
95bf19 364.92 (-0.01) 364.93 (-0.01)
080752 368.24 (+0.02) 368.24 (+0.02)
23d5e2 361.00 (-0.01) 361.00 (-0.01)
23d5e2 366.17 (-0.01) 366.17 (-0.01)
8b710b 370.05 (+0.01) 370.05 (+0.01)
8c6e60 366.81 (+0.00) 366.81 (+0.00)
10dae7 366.13 (-0.01) 366.13 (-0.01)
4c4d3d 370.17 (+0.00) 370.17 (+0.00)
9f94d0 369.55 (+0.02) 369.55 (+0.02)
9f94d0 364.05 (+0.04) 364.05 (+0.04)
9f94d0 348.85 (+0.03) 348.85 (+0.03)
c700c7 339.25 (-0.01) 339.25 (-0.01)
42c6dd 342.14 (+0.00) 342.14 (+0.00)
f6bf7b 341.24 (-0.01) 341.24 (-0.01)
1137b5 345.95 (-0.00) 345.95 (-0.00)
1468c6 347.01 (+0.02) 347.02 (+0.02)
1468c6 339.03 (-0.01) 339.03 (-0.01)
c01f92 343.37 (+0.01) 343.37 (+0.01)
7ff591 340.05 (+0.01) 340.05 (+0.01)
5d4774 338.04 (-0.08) 338.04 (-0.08)
56d8c2 366.32 (+0.05) 366.32 (+0.05)
12e6f4 347.95 (+0.03) 347.96 (+0.03)
12e6f4 338.54 (-0.05) 338.54 (-0.05)
12e6f4 354.88 (-0.05) 354.88 (-0.05)
61194a 372.03 (-0.08) 372.03 (-0.08)
70ce01 403.96 (+0.03) 403.96 (+0.03)
c04c20 393.30 (-0.01) 393.30 (-0.01)
827ee1 396.09 (+0.01) 396.09 (+0.01)
22ae67 390.77 (-0.02) 390.77 (-0.02)
0f4458 398.30 (-0.02) 398.30 (-0.02)
0f4458 405.40 (+0.01) 405.40 (+0.01)
0f4458 403.06 (+456.40) 403.06 (+112.11)
83faef 0.88 3.56

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query5]

platform: rds-aurora

revision Q5/1 total_duration
41aa62 193.30 (+0.02) 193.30 (+0.02)
7b5489 188.94 (-0.11) 188.94 (-0.11)
a23b07 213.18 (+0.12) 213.18 (+0.12)
cc2d00 190.74 (+0.09) 190.74 (+0.09)
ba9df2 174.81 (+0.22) 174.81 (+0.22)
a8f354 143.24 (+0.04) 143.24 (+0.04)
7feb0d 137.92 (-0.12) 137.92 (-0.12)
982fce 156.31 (+0.10) 156.31 (+0.10)
1f151d 142.32 (+0.04) 142.32 (+0.04)
ff1a1a 136.97 (-0.14) 136.97 (-0.14)
b1477b 158.97 (-0.02) 158.97 (-0.02)
1b947f 161.46 (-0.06) 161.46 (-0.06)
a21b55 172.64 (-0.05) 172.64 (-0.05)
4ba950 181.15 (+0.19) 181.15 (+0.19)
4e359d 152.76 (-0.03) 152.77 (-0.03)
3837fc 157.32 (+0.14) 157.32 (+0.14)
edcf4d 137.62 (+0.01) 137.62 (+0.01)
411c71 135.85 (-0.12) 135.85 (-0.12)
854348 153.92 (+0.04) 153.92 (+0.04)
7ba5c2 147.43 (+0.03) 147.43 (+0.03)
ebea29 142.67 (-0.02) 142.67 (-0.02)
22c890 145.40 (+0.04) 145.40 (+0.04)
f0b2e0 139.70 (+0.06) 139.70 (+0.06)
dec580 131.37 (-0.02) 131.37 (-0.02)
dec580 134.38 (+0.02) 134.38 (+0.02)
b1c2a6 131.50 (+0.01) 131.50 (+0.01)
931094 129.73 (-0.02) 129.74 (-0.02)
957acb 132.35 (+0.00) 132.35 (+0.00)
846532 131.85 (-0.03) 131.86 (-0.03)
d733bc 135.54 (+0.03) 135.55 (+0.03)
75ffe3 131.02 (+0.00) 131.02 (+0.00)
75ffe3 130.66 (-0.24) 130.66 (-0.24)
bf4623 172.42 (+0.03) 172.42 (+0.03)
b26c83 168.21 (+0.03) 168.21 (+0.03)
9d714a 163.67 (-0.01) 163.67 (-0.01)
6efea4 165.42 (+0.03) 165.42 (+0.03)
4071ff 160.12 (-0.02) 160.12 (-0.02)
870ba4 163.38 (+0.00) 163.38 (+0.00)
f5ca89 162.73 (-0.04) 162.73 (-0.04)
8bd565 168.65 (+0.02) 168.65 (+0.02)
dd22c8 164.95 (-0.00) 164.95 (-0.00)
299db9 165.76 (+0.01) 165.76 (+0.01)
93f3f4 163.40 (+0.04) 163.40 (+0.04)
f6e2e0 156.83 (-0.01) 156.83 (-0.01)
f6e2e0 158.29 (-0.05) 158.29 (-0.05)
f6e2e0 167.38 (+0.03) 167.38 (+0.03)
f1d960 161.84 (-0.04) 161.84 (-0.04)
4a9279 168.31 (+0.04) 168.31 (+0.04)
2e4bf7 161.33 (-0.01) 161.33 (-0.01)
ce8fbb 162.16 (-0.01) 162.16 (-0.01)
ce8fbb 163.26 (-0.04) 163.26 (-0.04)
ce8fbb 170.95 (+0.01) 170.95 (+0.01)
d1a0f2 169.20 (+0.05) 169.21 (+0.05)
ccf92d 161.77 (+0.02) 161.77 (+0.02)
02b8e0 158.34 (-0.01) 158.34 (-0.01)
7b9057 160.56 (-0.02) 160.56 (-0.02)
9cada8 163.30 (+0.01) 163.30 (+0.01)
9cada8 161.91 (+0.01) 161.91 (+0.01)
9cada8 160.78 (-0.04) 160.78 (-0.04)
a60f68 168.27 (+0.04) 168.27 (+0.04)
d19c52 161.12 (+0.02) 161.12 (+0.02)
000eb1 157.82 (-0.01) 157.82 (-0.01)
000eb1 159.93 (-0.01) 159.93 (-0.01)
f51b48 160.93 (-0.01) 160.93 (-0.01)
f51b48 163.22 (+0.03) 163.22 (+0.03)
f51b48 158.21 (+0.02) 158.21 (+0.02)
9f906f 155.61 (+0.06) 155.61 (+0.06)
0692ff 147.33 (-0.01) 147.33 (-0.01)
2caece 149.40 (+0.00) 149.40 (+0.00)
bc7d3c 149.01 (-0.03) 149.02 (-0.03)
2153d2 153.80 (+0.00) 153.80 (+0.00)
2153d2 153.61 (+0.08) 153.61 (+0.08)
2153d2 142.43 (-0.03) 142.43 (-0.03)
a1b062 147.25 (-0.01) 147.25 (-0.01)
1d9d7c 149.18 (+0.02) 149.18 (+0.02)
3569c1 146.54 (+0.00) 146.54 (+0.00)
eaff14 145.88 (-0.06) 145.88 (-0.06)
f383b4 155.57 (+0.07) 155.57 (+0.07)
f383b4 144.87 (-0.03) 144.87 (-0.03)
f383b4 149.10 (+0.04) 149.10 (+0.04)
a4256b 143.96 (+0.01) 143.96 (+0.01)
371493 142.10 (-0.01) 142.10 (-0.01)
c5c143 143.06 (+0.00) 143.06 (+0.00)
58fa4f 142.88 (+0.02) 142.88 (+0.02)
121d53 140.41 (+0.02) 140.41 (+0.02)
121d53 138.08 (-0.01) 138.08 (-0.01)
ec3a3a 140.15 (-0.03) 140.15 (-0.03)
96e783 144.11 (+0.03) 144.11 (+0.03)
567b71 140.51 (+0.01) 140.51 (+0.01)
847fc5 139.14 (-0.02) 139.14 (-0.02)
5e08b3 142.13 (+0.04) 142.13 (+0.04)
4d291d 136.86 (+0.02) 136.86 (+0.02)
4d291d 134.00 (-0.03) 134.00 (-0.03)
bf63f1 138.36 (+0.01) 138.36 (+0.01)
0a0958 137.46 (+0.01) 137.46 (+0.01)
aabca5 136.05 (+0.01) 136.05 (+0.01)
a4be54 135.08 (-0.04) 135.08 (-0.04)
a3d7ad 140.05 (+0.02) 140.05 (+0.02)
a3d7ad 137.45 (+0.03) 137.45 (+0.03)
8ba169 133.56 (-0.03) 133.56 (-0.03)
e5cc2f 137.44 (-0.01) 137.44 (-0.01)
c6b56d 138.98 (-0.00) 138.98 (-0.00)
e067cd 139.43 (+0.02) 139.43 (+0.02)
bce423 136.82 (-0.01) 136.82 (-0.01)
bce423 138.04 (+0.01) 138.04 (+0.01)
c28bfd 137.34 (-0.00) 137.34 (-0.00)
95bf19 137.56 (-0.05) 137.56 (-0.05)
95bf19 144.97 (+0.01) 144.97 (+0.01)
080752 143.90 (+0.02) 143.91 (+0.02)
23d5e2 141.74 (+0.05) 141.74 (+0.05)
23d5e2 134.75 (-0.03) 134.75 (-0.03)
8b710b 139.43 (-0.01) 139.43 (-0.01)
8c6e60 140.18 (+0.01) 140.18 (+0.01)
10dae7 139.09 (+0.00) 139.09 (+0.00)
4c4d3d 138.89 (-0.03) 138.89 (-0.03)
9f94d0 142.51 (-0.01) 142.51 (-0.01)
9f94d0 143.60 (+0.11) 143.60 (+0.11)
9f94d0 129.50 (-0.01) 129.50 (-0.01)
c700c7 130.74 (+0.03) 130.74 (+0.03)
42c6dd 127.18 (-0.04) 127.18 (-0.04)
f6bf7b 132.16 (+0.05) 132.16 (+0.05)
1137b5 125.74 (-0.02) 125.74 (-0.02)
1468c6 128.43 (-0.01) 128.44 (-0.01)
1468c6 129.57 (-0.00) 129.57 (-0.00)
c01f92 129.66 (+0.03) 129.66 (+0.03)
7ff591 125.46 (+0.00) 125.46 (+0.00)
5d4774 125.44 (-0.05) 125.44 (-0.05)
56d8c2 132.01 (+0.03) 132.01 (+0.03)
12e6f4 128.03 (-0.03) 128.03 (-0.03)
12e6f4 132.45 (-0.01) 132.45 (-0.01)
12e6f4 134.43 (-0.01) 134.43 (-0.01)
61194a 135.70 (-0.10) 135.70 (-0.10)
70ce01 151.24 (+0.03) 151.24 (+0.03)
c04c20 147.32 (-0.02) 147.32 (-0.02)
827ee1 149.75 (-0.01) 149.76 (-0.01)
22ae67 151.08 (+0.02) 151.08 (+0.02)
0f4458 148.62 (-0.00) 148.62 (-0.00)
0f4458 148.74 (-0.00) 148.74 (-0.00)
0f4458 149.43 (+39.94) 149.43 (+19.10)
83faef 3.65 7.44

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query6]

platform: rds-aurora

revision Q6/1 total_duration
41aa62 112.03 (-0.00) 112.03 (-0.00)
7b5489 112.10 (-0.08) 112.10 (-0.08)
a23b07 122.07 (+0.11) 122.07 (+0.11)
cc2d00 110.10 (+0.10) 110.10 (+0.10)
ba9df2 99.83 (+0.14) 99.83 (+0.14)
a8f354 87.34 (+0.07) 87.34 (+0.07)
7feb0d 81.80 (-0.09) 81.80 (-0.09)
982fce 89.96 (+0.14) 89.96 (+0.14)
1f151d 79.24 (+0.01) 79.24 (+0.01)
ff1a1a 78.72 (-0.15) 78.72 (-0.15)
b1477b 93.11 (-0.02) 93.11 (-0.02)
1b947f 95.03 (-0.07) 95.03 (-0.07)
a21b55 101.89 (-0.04) 101.89 (-0.04)
4ba950 106.00 (+0.19) 106.00 (+0.19)
4e359d 89.34 (-0.00) 89.34 (-0.00)
3837fc 89.41 (+0.13) 89.41 (+0.13)
edcf4d 79.40 (+0.00) 79.40 (+0.00)
411c71 79.32 (-0.08) 79.32 (-0.08)
854348 86.53 (-0.01) 86.53 (-0.01)
7ba5c2 87.01 (+0.02) 87.02 (+0.02)
ebea29 85.32 (-0.02) 85.32 (-0.02)
22c890 86.96 (+0.08) 86.97 (+0.08)
f0b2e0 80.36 (+0.05) 80.36 (+0.05)
dec580 76.46 (-0.01) 76.46 (-0.01)
dec580 77.60 (+0.04) 77.60 (+0.04)
b1c2a6 74.40 (-0.01) 74.41 (-0.01)
931094 75.05 (-0.01) 75.05 (-0.01)
957acb 76.15 (+0.00) 76.16 (+0.00)
846532 75.88 (-0.02) 75.88 (-0.02)
d733bc 77.25 (+0.04) 77.25 (+0.04)
75ffe3 74.42 (+0.01) 74.42 (+0.01)
75ffe3 73.66 (-0.26) 73.66 (-0.26)
bf4623 100.10 (+0.08) 100.10 (+0.08)
b26c83 92.97 (-0.04) 92.97 (-0.04)
9d714a 96.40 (+0.03) 96.40 (+0.03)
6efea4 93.14 (-0.00) 93.14 (-0.00)
4071ff 93.52 (-0.00) 93.52 (-0.00)
870ba4 93.95 (-0.00) 93.95 (-0.00)
f5ca89 94.42 (-0.01) 94.42 (-0.01)
8bd565 95.66 (+0.05) 95.66 (+0.05)
dd22c8 90.82 (+0.01) 90.82 (+0.01)
299db9 90.32 (-0.05) 90.32 (-0.05)
93f3f4 94.66 (+0.04) 94.66 (+0.04)
f6e2e0 91.03 (-0.01) 91.03 (-0.01)
f6e2e0 92.02 (-0.06) 92.02 (-0.06)
f6e2e0 97.90 (+0.03) 97.90 (+0.03)
f1d960 94.93 (-0.06) 94.93 (-0.06)
4a9279 101.42 (+0.13) 101.42 (+0.13)
2e4bf7 89.91 (-0.01) 89.91 (-0.01)
ce8fbb 91.09 (-0.08) 91.09 (-0.08)
ce8fbb 98.50 (-0.00) 98.50 (-0.00)
ce8fbb 98.88 (+0.08) 98.88 (+0.08)
d1a0f2 91.51 (-0.04) 91.51 (-0.04)
ccf92d 95.22 (-0.03) 95.22 (-0.03)
02b8e0 97.90 (+0.04) 97.90 (+0.04)
7b9057 94.20 (+0.04) 94.21 (+0.04)
9cada8 90.33 (+0.00) 90.33 (+0.00)
9cada8 90.29 (-0.02) 90.29 (-0.02)
9cada8 91.72 (+0.02) 91.72 (+0.02)
a60f68 89.84 (-0.06) 89.84 (-0.06)
d19c52 95.23 (+0.06) 95.23 (+0.06)
000eb1 89.83 (-0.01) 89.83 (-0.01)
000eb1 91.14 (-0.02) 91.14 (-0.02)
f51b48 93.16 (+0.05) 93.16 (+0.05)
f51b48 88.72 (-0.03) 88.72 (-0.03)
f51b48 91.27 (-0.04) 91.27 (-0.04)
9f906f 94.93 (+0.13) 94.93 (+0.13)
0692ff 84.30 (-0.04) 84.30 (-0.04)
2caece 87.47 (+0.05) 87.47 (+0.05)
bc7d3c 82.95 (-0.03) 82.95 (-0.03)
2153d2 85.24 (-0.01) 85.24 (-0.01)
2153d2 86.26 (-0.00) 86.26 (-0.00)
2153d2 86.53 (+0.05) 86.53 (+0.05)
a1b062 82.24 (-0.00) 82.24 (-0.00)
1d9d7c 82.35 (-0.05) 82.35 (-0.05)
3569c1 86.90 (+0.06) 86.91 (+0.06)
eaff14 82.36 (-0.02) 82.36 (-0.02)
f383b4 84.14 (+0.03) 84.15 (+0.03)
f383b4 81.84 (-0.08) 81.84 (-0.08)
f383b4 88.65 (+0.08) 88.65 (+0.08)
a4256b 82.28 (-0.03) 82.28 (-0.03)
371493 84.63 (+0.02) 84.64 (+0.02)
c5c143 83.05 (-0.03) 83.05 (-0.03)
58fa4f 85.45 (+0.02) 85.45 (+0.02)
121d53 83.62 (+0.05) 83.62 (+0.05)
121d53 79.70 (-0.04) 79.70 (-0.04)
ec3a3a 83.11 (+0.01) 83.11 (+0.01)
96e783 82.06 (+0.04) 82.06 (+0.04)
567b71 79.05 (-0.04) 79.05 (-0.04)
847fc5 82.57 (+0.02) 82.58 (+0.02)
5e08b3 81.12 (-0.01) 81.12 (-0.01)
4d291d 82.33 (+0.01) 82.33 (+0.01)
4d291d 81.23 (+0.02) 81.24 (+0.02)
bf63f1 79.91 (-0.02) 79.91 (-0.02)
0a0958 81.56 (+0.05) 81.57 (+0.05)
aabca5 77.36 (-0.05) 77.36 (-0.05)
a4be54 81.07 (+0.03) 81.07 (+0.03)
a3d7ad 78.64 (-0.02) 78.64 (-0.02)
a3d7ad 80.60 (+0.01) 80.61 (+0.01)
8ba169 79.69 (+0.01) 79.69 (+0.01)
e5cc2f 78.96 (+0.00) 78.96 (+0.00)
c6b56d 78.63 (-0.01) 78.63 (-0.01)
e067cd 79.17 (+0.01) 79.17 (+0.01)
bce423 78.02 (-0.01) 78.03 (-0.01)
bce423 78.73 (-0.00) 78.73 (-0.00)
c28bfd 79.03 (+0.01) 79.03 (+0.01)
95bf19 78.51 (-0.06) 78.51 (-0.06)
95bf19 83.66 (+0.09) 83.66 (+0.09)
080752 77.08 (-0.06) 77.08 (-0.06)
23d5e2 81.59 (+0.03) 81.59 (+0.03)
23d5e2 79.55 (-0.01) 79.56 (-0.01)
8b710b 80.12 (-0.01) 80.12 (-0.01)
8c6e60 80.63 (-0.03) 80.63 (-0.03)
10dae7 83.34 (+0.04) 83.34 (+0.04)
4c4d3d 80.40 (+0.01) 80.40 (+0.01)
9f94d0 79.85 (-0.02) 79.86 (-0.02)
9f94d0 81.68 (+0.08) 81.68 (+0.08)
9f94d0 75.85 (+0.02) 75.85 (+0.02)
c700c7 74.09 (+0.00) 74.09 (+0.00)
42c6dd 73.74 (-0.01) 73.74 (-0.01)
f6bf7b 74.79 (+0.01) 74.79 (+0.01)
1137b5 74.25 (+0.01) 74.25 (+0.01)
1468c6 73.76 (+0.01) 73.76 (+0.01)
1468c6 73.04 (-0.03) 73.04 (-0.03)
c01f92 75.31 (+0.01) 75.31 (+0.01)
7ff591 74.28 (+0.04) 74.28 (+0.04)
5d4774 71.57 (-0.07) 71.57 (-0.07)
56d8c2 77.11 (+0.01) 77.11 (+0.01)
12e6f4 76.33 (+0.02) 76.33 (+0.02)
12e6f4 74.57 (+0.01) 74.57 (+0.01)
12e6f4 73.95 (-0.09) 73.95 (-0.09)
61194a 81.52 (-0.09) 81.52 (-0.09)
70ce01 89.13 (+0.00) 89.13 (+0.00)
c04c20 88.92 (-0.01) 88.92 (-0.01)
827ee1 89.61 (-0.01) 89.61 (-0.01)
22ae67 90.32 (+0.02) 90.32 (+0.02)
0f4458 88.23 (+0.03) 88.23 (+0.03)
0f4458 85.83 (-0.03) 85.83 (-0.03)
0f4458 88.54 (+37.52) 88.54 (+9.32)
83faef 2.30 8.58

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query7]

platform: rds-aurora

revision Q7/1 total_duration
41aa62 164.41 (+0.05) 164.41 (+0.05)
7b5489 157.00 (-0.12) 157.00 (-0.12)
a23b07 177.95 (+0.12) 177.97 (+0.12)
cc2d00 158.80 (+0.07) 158.82 (+0.07)
ba9df2 148.92 (+0.22) 148.92 (+0.22)
a8f354 121.86 (+0.03) 121.86 (+0.03)
7feb0d 118.11 (-0.12) 118.12 (-0.12)
982fce 133.83 (+0.16) 133.83 (+0.16)
1f151d 115.24 (-0.03) 115.24 (-0.03)
ff1a1a 118.68 (-0.16) 118.68 (-0.16)
b1477b 141.65 (+0.02) 141.65 (+0.02)
1b947f 138.75 (-0.03) 138.75 (-0.03)
a21b55 143.43 (-0.06) 143.43 (-0.06)
4ba950 152.59 (+0.17) 152.59 (+0.17)
4e359d 130.12 (+0.01) 130.13 (+0.01)
3837fc 129.33 (+0.12) 129.33 (+0.12)
edcf4d 115.42 (+0.03) 115.42 (+0.03)
411c71 111.73 (-0.11) 111.74 (-0.11)
854348 124.97 (-0.05) 124.97 (-0.05)
7ba5c2 131.38 (+0.06) 131.38 (+0.06)
ebea29 123.74 (-0.00) 123.74 (-0.00)
22c890 123.82 (+0.04) 123.82 (+0.04)
f0b2e0 118.88 (+0.08) 118.89 (+0.08)
dec580 109.94 (-0.03) 109.95 (-0.03)
dec580 113.61 (+0.03) 113.61 (+0.03)
b1c2a6 109.79 (-0.01) 109.79 (-0.01)
931094 110.47 (+0.01) 110.47 (+0.01)
957acb 109.82 (-0.04) 109.83 (-0.04)
846532 114.44 (-0.00) 114.44 (-0.00)
d733bc 114.62 (+0.07) 114.62 (+0.07)
75ffe3 107.42 (-0.05) 107.42 (-0.05)
75ffe3 113.18 (-0.21) 113.18 (-0.21)
bf4623 144.16 (+0.02) 144.16 (+0.02)
b26c83 140.84 (-0.02) 140.84 (-0.02)
9d714a 143.95 (+0.00) 143.95 (+0.00)
6efea4 143.34 (+0.07) 143.34 (+0.07)
4071ff 134.49 (-0.06) 134.49 (-0.06)
870ba4 142.44 (+0.06) 142.44 (+0.06)
f5ca89 134.36 (-0.08) 134.36 (-0.08)
8bd565 145.92 (+0.03) 145.92 (+0.03)
dd22c8 141.03 (-0.01) 141.03 (-0.01)
299db9 142.76 (-0.02) 142.76 (-0.02)
93f3f4 145.87 (+0.05) 145.87 (+0.05)
f6e2e0 139.26 (+0.01) 139.26 (+0.01)
f6e2e0 137.57 (-0.03) 137.57 (-0.03)
f6e2e0 142.07 (-0.03) 142.07 (-0.03)
f1d960 145.99 (-0.01) 145.99 (-0.01)
4a9279 147.53 (+0.06) 147.53 (+0.06)
2e4bf7 139.61 (-0.01) 139.61 (-0.01)
ce8fbb 141.52 (+0.03) 141.52 (+0.03)
ce8fbb 137.06 (-0.10) 137.06 (-0.10)
ce8fbb 151.57 (+0.04) 151.57 (+0.04)
d1a0f2 145.36 (+0.08) 145.36 (+0.08)
ccf92d 134.46 (+0.00) 134.46 (+0.00)
02b8e0 134.33 (-0.00) 134.33 (-0.00)
7b9057 134.62 (-0.04) 134.62 (-0.04)
9cada8 140.43 (-0.01) 140.43 (-0.01)
9cada8 141.72 (+0.04) 141.72 (+0.04)
9cada8 136.09 (-0.03) 136.09 (-0.03)
a60f68 140.29 (+0.04) 140.29 (+0.04)
d19c52 135.23 (+0.01) 135.23 (+0.01)
000eb1 134.46 (+0.00) 134.46 (+0.00)
000eb1 134.27 (-0.05) 134.27 (-0.05)
f51b48 141.94 (+0.02) 141.94 (+0.02)
f51b48 138.98 (+0.05) 138.98 (+0.05)
f51b48 132.15 (-0.03) 132.15 (-0.03)
9f906f 136.04 (+0.09) 136.05 (+0.09)
0692ff 125.18 (-0.00) 125.18 (-0.00)
2caece 125.34 (+0.00) 125.34 (+0.00)
bc7d3c 125.01 (-0.04) 125.01 (-0.04)
2153d2 129.95 (+0.06) 129.95 (+0.06)
2153d2 122.43 (+0.01) 122.43 (+0.01)
2153d2 121.62 (-0.03) 121.62 (-0.03)
a1b062 124.83 (-0.01) 124.84 (-0.01)
1d9d7c 125.91 (+0.03) 125.91 (+0.03)
3569c1 122.06 (-0.05) 122.06 (-0.05)
eaff14 128.55 (+0.07) 128.55 (+0.07)
f383b4 120.46 (-0.06) 120.46 (-0.06)
f383b4 127.54 (+0.01) 127.54 (+0.01)
f383b4 126.67 (+0.03) 126.67 (+0.03)
a4256b 123.02 (+0.00) 123.02 (+0.00)
371493 122.48 (+0.01) 122.48 (+0.01)
c5c143 120.87 (-0.02) 120.87 (-0.02)
58fa4f 123.24 (+0.01) 123.24 (+0.01)
121d53 121.69 (+0.01) 121.69 (+0.01)
121d53 121.05 (+0.02) 121.05 (+0.02)
ec3a3a 118.27 (-0.04) 118.28 (-0.04)
96e783 122.89 (+0.01) 122.89 (+0.01)
567b71 122.05 (+0.01) 122.05 (+0.01)
847fc5 120.89 (-0.02) 120.89 (-0.02)
5e08b3 122.98 (+0.04) 122.98 (+0.04)
4d291d 117.77 (-0.00) 117.77 (-0.00)
4d291d 118.30 (+0.02) 118.31 (+0.02)
bf63f1 115.46 (-0.04) 115.46 (-0.04)
0a0958 120.14 (+0.04) 120.14 (+0.04)
aabca5 115.95 (-0.03) 115.95 (-0.03)
a4be54 118.98 (+0.00) 118.98 (+0.00)
a3d7ad 118.68 (-0.00) 118.69 (-0.00)
a3d7ad 118.89 (+0.05) 118.89 (+0.05)
8ba169 113.30 (+0.01) 113.30 (+0.01)
e5cc2f 112.22 (-0.06) 112.22 (-0.06)
c6b56d 119.08 (+0.02) 119.08 (+0.02)
e067cd 116.44 (+0.02) 116.44 (+0.02)
bce423 114.07 (+0.02) 114.07 (+0.02)
bce423 111.66 (-0.06) 111.66 (-0.06)
c28bfd 118.59 (+0.03) 118.59 (+0.03)
95bf19 114.77 (-0.06) 114.78 (-0.06)
95bf19 122.56 (+0.05) 122.56 (+0.05)
080752 116.20 (+0.02) 116.20 (+0.02)
23d5e2 114.26 (-0.06) 114.26 (-0.06)
23d5e2 121.85 (-0.00) 121.85 (-0.00)
8b710b 121.87 (+0.04) 121.87 (+0.04)
8c6e60 117.31 (-0.02) 117.31 (-0.02)
10dae7 120.26 (-0.00) 120.26 (-0.00)
4c4d3d 120.82 (-0.04) 120.82 (-0.04)
9f94d0 125.34 (+0.06) 125.34 (+0.06)
9f94d0 118.01 (+0.09) 118.01 (+0.09)
9f94d0 108.55 (-0.07) 108.55 (-0.07)
c700c7 117.18 (+0.03) 117.18 (+0.03)
42c6dd 113.62 (+0.03) 113.62 (+0.03)
f6bf7b 110.37 (+0.02) 110.37 (+0.02)
1137b5 108.36 (+0.01) 108.36 (+0.01)
1468c6 107.07 (-0.04) 107.07 (-0.04)
1468c6 111.00 (+0.02) 111.00 (+0.02)
c01f92 108.32 (+0.05) 108.32 (+0.05)
7ff591 102.89 (-0.04) 102.89 (-0.04)
5d4774 107.35 (-0.03) 107.35 (-0.03)
56d8c2 110.89 (+0.00) 110.89 (+0.00)
12e6f4 110.62 (-0.04) 110.62 (-0.04)
12e6f4 115.24 (+0.04) 115.24 (+0.04)
12e6f4 110.38 (-0.04) 110.38 (-0.04)
61194a 115.15 (-0.08) 115.15 (-0.08)
70ce01 125.84 (+0.03) 125.84 (+0.03)
c04c20 122.48 (-0.05) 122.48 (-0.05)
827ee1 128.95 (+0.01) 128.95 (+0.01)
22ae67 127.47 (-0.03) 127.47 (-0.03)
0f4458 131.25 (+0.05) 131.25 (+0.05)
0f4458 125.04 (-0.01) 125.04 (-0.01)
0f4458 126.47 (+51.82) 126.48 (+17.31)
83faef 2.39 6.91

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query8]

platform: rds-aurora

revision Q8/1 total_duration
41aa62 212.81 (+0.02) 212.81 (+0.02)
7b5489 208.72 (-0.11) 208.72 (-0.11)
a23b07 234.13 (+0.11) 234.13 (+0.11)
cc2d00 210.87 (+0.08) 210.87 (+0.08)
ba9df2 195.68 (+0.14) 195.68 (+0.14)
a8f354 171.08 (+0.03) 171.08 (+0.03)
7feb0d 166.01 (-0.09) 166.01 (-0.09)
982fce 181.93 (+0.10) 181.94 (+0.10)
1f151d 164.91 (+0.02) 164.91 (+0.02)
ff1a1a 162.32 (-0.14) 162.33 (-0.14)
b1477b 189.79 (+0.01) 189.79 (+0.01)
1b947f 187.44 (-0.08) 187.44 (-0.08)
a21b55 203.73 (-0.01) 203.73 (-0.01)
4ba950 205.52 (+0.13) 205.52 (+0.13)
4e359d 182.46 (+0.01) 182.46 (+0.01)
3837fc 180.92 (+0.10) 180.92 (+0.10)
edcf4d 164.94 (+0.07) 164.94 (+0.07)
411c71 154.71 (-0.12) 154.71 (-0.12)
854348 175.76 (+0.01) 175.76 (+0.01)
7ba5c2 173.42 (+0.01) 173.43 (+0.01)
ebea29 171.96 (+0.01) 171.96 (+0.01)
22c890 170.68 (+0.01) 170.68 (+0.01)
f0b2e0 169.39 (+0.09) 169.39 (+0.09)
dec580 155.83 (-0.02) 155.83 (-0.02)
dec580 158.38 (+0.03) 158.38 (+0.03)
b1c2a6 153.85 (-0.04) 153.85 (-0.04)
931094 160.00 (+0.03) 160.00 (+0.03)
957acb 155.95 (-0.01) 155.95 (-0.01)
846532 157.95 (+0.00) 157.95 (+0.00)
d733bc 157.17 (+0.01) 157.17 (+0.01)
75ffe3 155.84 (+0.02) 155.84 (+0.02)
75ffe3 153.42 (-0.19) 153.42 (-0.19)
bf4623 188.89 (+0.02) 188.89 (+0.02)
b26c83 184.47 (-0.05) 184.47 (-0.05)
9d714a 195.00 (+0.02) 195.00 (+0.02)
6efea4 191.66 (+0.02) 191.66 (+0.02)
4071ff 188.20 (-0.02) 188.20 (-0.02)
870ba4 192.24 (-0.01) 192.24 (-0.01)
f5ca89 194.46 (+0.00) 194.46 (+0.00)
8bd565 193.74 (+0.04) 193.74 (+0.04)
dd22c8 186.73 (-0.02) 186.73 (-0.02)
299db9 191.18 (-0.03) 191.18 (-0.03)
93f3f4 197.03 (+0.06) 197.03 (+0.06)
f6e2e0 185.95 (-0.01) 185.95 (-0.01)
f6e2e0 187.53 (-0.01) 187.53 (-0.01)
f6e2e0 188.58 (-0.03) 188.58 (-0.03)
f1d960 195.40 (+0.02) 195.40 (+0.02)
4a9279 191.25 (-0.02) 191.25 (-0.02)
2e4bf7 194.50 (-0.01) 194.50 (-0.01)
ce8fbb 196.05 (+0.01) 196.05 (+0.01)
ce8fbb 194.49 (+0.01) 194.49 (+0.01)
ce8fbb 191.84 (+0.01) 191.84 (+0.01)
d1a0f2 190.85 (+0.00) 190.85 (+0.00)
ccf92d 190.64 (-0.01) 190.64 (-0.01)
02b8e0 191.82 (+0.00) 191.83 (+0.00)
7b9057 191.46 (+0.02) 191.46 (+0.02)
9cada8 187.09 (+0.01) 187.09 (+0.01)
9cada8 185.16 (+0.00) 185.17 (+0.00)
9cada8 184.83 (-0.01) 184.83 (-0.01)
a60f68 186.76 (+0.01) 186.76 (+0.01)
d19c52 184.64 (+0.00) 184.64 (+0.00)
000eb1 184.45 (-0.01) 184.45 (-0.01)
000eb1 186.13 (+0.01) 186.13 (+0.01)
f51b48 184.36 (+0.01) 184.36 (+0.01)
f51b48 181.89 (-0.02) 181.89 (-0.02)
f51b48 185.86 (-0.01) 185.86 (-0.01)
9f906f 187.11 (+0.05) 187.11 (+0.05)
0692ff 178.71 (-0.01) 178.71 (-0.01)
2caece 180.78 (+0.06) 180.78 (+0.06)
bc7d3c 171.09 (-0.02) 171.09 (-0.02)
2153d2 175.24 (-0.02) 175.25 (-0.02)
2153d2 178.86 (+0.04) 178.86 (+0.04)
2153d2 171.71 (-0.02) 171.71 (-0.02)
a1b062 174.85 (+0.01) 174.85 (+0.01)
1d9d7c 173.52 (-0.03) 173.52 (-0.03)
3569c1 179.20 (+0.06) 179.20 (+0.06)
eaff14 168.62 (-0.04) 168.62 (-0.04)
f383b4 175.29 (+0.01) 175.29 (+0.01)
f383b4 173.86 (+0.01) 173.86 (+0.01)
f383b4 171.78 (-0.02) 171.78 (-0.02)
a4256b 175.49 (+0.02) 175.50 (+0.02)
371493 171.84 (-0.04) 171.84 (-0.04)
c5c143 178.74 (+0.02) 178.74 (+0.02)
58fa4f 174.86 (+0.02) 174.86 (+0.02)
121d53 170.63 (+0.01) 170.63 (+0.01)
121d53 168.36 (-0.01) 168.36 (-0.01)
ec3a3a 170.47 (-0.03) 170.47 (-0.03)
96e783 175.23 (+0.05) 175.23 (+0.05)
567b71 166.72 (+0.00) 166.73 (+0.00)
847fc5 166.44 (-0.04) 166.44 (-0.04)
5e08b3 172.53 (+0.01) 172.53 (+0.01)
4d291d 170.23 (+0.05) 170.23 (+0.05)
4d291d 162.26 (-0.03) 162.26 (-0.03)
bf63f1 167.67 (+0.02) 167.67 (+0.02)
0a0958 164.28 (+0.01) 164.28 (+0.01)
aabca5 162.06 (-0.05) 162.06 (-0.05)
a4be54 169.76 (-0.03) 169.77 (-0.03)
a3d7ad 174.85 (+0.05) 174.85 (+0.05)
a3d7ad 167.01 (-0.01) 167.01 (-0.01)
8ba169 168.53 (-0.00) 168.53 (-0.00)
e5cc2f 169.31 (+0.01) 169.32 (+0.01)
c6b56d 167.35 (+0.03) 167.35 (+0.03)
e067cd 162.24 (-0.01) 162.24 (-0.01)
bce423 164.08 (-0.04) 164.08 (-0.04)
bce423 170.97 (+0.04) 170.97 (+0.04)
c28bfd 164.06 (+0.00) 164.06 (+0.00)
95bf19 163.86 (-0.01) 163.86 (-0.01)
95bf19 165.83 (+0.01) 165.83 (+0.01)
080752 163.71 (+0.02) 163.71 (+0.02)
23d5e2 161.04 (+0.05) 161.04 (+0.05)
23d5e2 153.00 (-0.07) 153.00 (-0.07)
8b710b 164.16 (+0.03) 164.16 (+0.03)
8c6e60 158.74 (-0.03) 158.74 (-0.03)
10dae7 164.40 (+0.03) 164.40 (+0.03)
4c4d3d 159.04 (+0.02) 159.04 (+0.02)
9f94d0 156.09 (-0.02) 156.09 (-0.02)
9f94d0 159.25 (+0.07) 159.26 (+0.07)
9f94d0 149.32 (-0.02) 149.33 (-0.02)
c700c7 152.37 (+0.04) 152.38 (+0.04)
42c6dd 146.07 (-0.03) 146.07 (-0.03)
f6bf7b 150.58 (-0.00) 150.58 (-0.00)
1137b5 150.89 (+0.02) 150.89 (+0.02)
1468c6 148.24 (+0.01) 148.24 (+0.01)
1468c6 147.41 (-0.02) 147.41 (-0.02)
c01f92 150.32 (+0.05) 150.33 (+0.05)
7ff591 142.75 (-0.04) 142.76 (-0.04)
5d4774 148.50 (-0.06) 148.50 (-0.06)
56d8c2 158.26 (+0.01) 158.26 (+0.01)
12e6f4 156.77 (+0.02) 156.77 (+0.02)
12e6f4 153.40 (-0.04) 153.40 (-0.04)
12e6f4 159.14 (-0.01) 159.14 (-0.01)
61194a 160.56 (-0.09) 160.56 (-0.09)
70ce01 175.56 (+0.00) 175.56 (+0.00)
c04c20 174.99 (-0.04) 174.99 (-0.04)
827ee1 182.52 (+0.03) 182.52 (+0.03)
22ae67 177.39 (+0.03) 177.40 (+0.03)
0f4458 171.88 (-0.02) 171.88 (-0.02)
0f4458 175.78 (+0.01) 175.78 (+0.01)
0f4458 174.25 (+41.72) 174.25 (+24.42)
83faef 4.08 6.85

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query9]

platform: rds-aurora

revision Q9/1 total_duration
41aa62 2269.61 (+0.02) 2269.61 (+0.02)
7b5489 2216.35 (-0.10) 2216.35 (-0.10)
a23b07 2461.54 (+0.08) 2461.54 (+0.08)
cc2d00 2274.38 (+0.11) 2274.38 (+0.11)
ba9df2 2046.49 (+0.11) 2046.50 (+0.11)
a8f354 1849.34 (+0.02) 1849.34 (+0.02)
7feb0d 1811.35 (-0.08) 1811.35 (-0.08)
982fce 1972.19 (+0.09) 1972.20 (+0.09)
1f151d 1808.89 (+0.02) 1808.90 (+0.02)
ff1a1a 1780.64 (-0.16) 1780.64 (-0.16)
b1477b 2121.30 (+0.00) 2121.30 (+0.00)
1b947f 2120.63 (-0.04) 2120.64 (-0.04)
a21b55 2201.84 (-0.00) 2201.85 (-0.00)
4ba950 2212.26 (+0.14) 2212.26 (+0.14)
4e359d 1948.37 (-0.00) 1948.38 (-0.00)
3837fc 1956.55 (+0.09) 1956.55 (+0.09)
edcf4d 1791.54 (+0.02) 1791.54 (+0.02)
411c71 1748.30 (-0.08) 1748.30 (-0.08)
854348 1905.71 (+0.01) 1905.72 (+0.01)
7ba5c2 1881.10 (+0.00) 1881.10 (+0.00)
ebea29 1876.39 (-0.00) 1876.39 (-0.00)
22c890 1883.42 (+0.02) 1883.42 (+0.02)
f0b2e0 1847.87 (+0.06) 1847.87 (+0.06)
dec580 1748.76 (+0.00) 1748.76 (+0.00)
dec580 1741.66 (-0.00) 1741.66 (-0.00)
b1c2a6 1748.14 (-0.01) 1748.14 (-0.01)
931094 1760.49 (+0.02) 1760.49 (+0.02)
957acb 1723.11 (+0.00) 1723.11 (+0.00)
846532 1722.22 (-0.01) 1722.22 (-0.01)
d733bc 1734.06 (+0.00) 1734.06 (+0.00)
75ffe3 1728.83 (+0.02) 1728.83 (+0.02)
75ffe3 1694.37 (-0.18) 1694.37 (-0.18)
bf4623 2071.92 (+0.00) 2071.92 (+0.00)
b26c83 2068.12 (-0.00) 2068.12 (-0.00)
9d714a 2068.78 (+0.00) 2068.78 (+0.00)
6efea4 2064.71 (+0.01) 2064.72 (+0.01)
4071ff 2034.48 (-0.01) 2034.48 (-0.01)
870ba4 2046.39 (-0.02) 2046.39 (-0.02)
f5ca89 2078.25 (-0.00) 2078.25 (-0.00)
8bd565 2083.45 (+0.02) 2083.45 (+0.02)
dd22c8 2045.45 (-0.00) 2045.45 (-0.00)
299db9 2053.51 (-0.02) 2053.52 (-0.02)
93f3f4 2098.70 (+0.02) 2098.70 (+0.02)
f6e2e0 2054.99 (-0.01) 2054.99 (-0.01)
f6e2e0 2079.01 (+0.01) 2079.01 (+0.01)
f6e2e0 2056.62 (-0.01) 2056.62 (-0.01)
f1d960 2085.01 (-0.01) 2085.02 (-0.01)
4a9279 2103.27 (+0.01) 2103.27 (+0.01)
2e4bf7 2083.78 (+0.01) 2083.79 (+0.01)
ce8fbb 2059.05 (+0.00) 2059.05 (+0.00)
ce8fbb 2058.71 (-0.02) 2058.71 (-0.02)
ce8fbb 2096.80 (+0.02) 2096.80 (+0.02)
d1a0f2 2062.67 (-0.00) 2062.67 (-0.00)
ccf92d 2065.44 (-0.01) 2065.45 (-0.01)
02b8e0 2079.04 (+0.01) 2079.04 (+0.01)
7b9057 2049.75 (+0.01) 2049.75 (+0.01)
9cada8 2039.02 (-0.00) 2039.02 (-0.00)
9cada8 2042.41 (+0.00) 2042.41 (+0.00)
9cada8 2036.87 (-0.01) 2036.87 (-0.01)
a60f68 2058.43 (+0.01) 2058.43 (+0.01)
d19c52 2043.10 (+0.00) 2043.10 (+0.00)
000eb1 2038.50 (+0.00) 2038.51 (+0.00)
000eb1 2030.91 (-0.00) 2030.91 (-0.00)
f51b48 2032.76 (+0.00) 2032.77 (+0.00)
f51b48 2030.40 (+0.01) 2030.40 (+0.01)
f51b48 2015.65 (+0.01) 2015.65 (+0.01)
9f906f 1990.05 (+0.04) 1990.05 (+0.04)
0692ff 1913.88 (+0.00) 1913.88 (+0.00)
2caece 1907.03 (+0.00) 1907.03 (+0.00)
bc7d3c 1898.37 (+0.00) 1898.37 (+0.00)
2153d2 1895.28 (-0.00) 1895.29 (-0.00)
2153d2 1895.93 (+0.00) 1895.93 (+0.00)
2153d2 1895.43 (+0.00) 1895.43 (+0.00)
a1b062 1887.38 (-0.00) 1887.38 (-0.00)
1d9d7c 1895.81 (-0.00) 1895.81 (-0.00)
3569c1 1898.12 (-0.01) 1898.12 (-0.01)
eaff14 1920.82 (+0.02) 1920.82 (+0.02)
f383b4 1886.45 (-0.01) 1886.46 (-0.01)
f383b4 1908.54 (+0.04) 1908.54 (+0.04)
f383b4 1842.09 (-0.04) 1842.09 (-0.04)
a4256b 1909.59 (+0.01) 1909.59 (+0.01)
371493 1899.76 (+0.00) 1899.76 (+0.00)
c5c143 1893.94 (-0.01) 1893.94 (-0.01)
58fa4f 1910.98 (+0.01) 1910.98 (+0.01)
121d53 1886.83 (+0.00) 1886.83 (+0.00)
121d53 1877.86 (-0.02) 1877.86 (-0.02)
ec3a3a 1912.02 (+0.00) 1912.02 (+0.00)
96e783 1908.81 (+0.01) 1908.81 (+0.01)
567b71 1889.67 (+0.01) 1889.68 (+0.01)
847fc5 1872.46 (-0.01) 1872.46 (-0.01)
5e08b3 1897.14 (+0.02) 1897.14 (+0.02)
4d291d 1859.55 (-0.00) 1859.55 (-0.00)
4d291d 1863.43 (-0.00) 1863.43 (-0.00)
bf63f1 1864.73 (+0.01) 1864.73 (+0.01)
0a0958 1854.22 (+0.00) 1854.22 (+0.00)
aabca5 1852.44 (-0.01) 1852.44 (-0.01)
a4be54 1864.11 (+0.00) 1864.11 (+0.00)
a3d7ad 1860.67 (+0.00) 1860.67 (+0.00)
a3d7ad 1852.24 (-0.00) 1852.24 (-0.00)
8ba169 1856.80 (+0.01) 1856.80 (+0.01)
e5cc2f 1837.07 (+0.00) 1837.07 (+0.00)
c6b56d 1831.21 (-0.00) 1831.22 (-0.00)
e067cd 1834.45 (-0.00) 1834.45 (-0.00)
bce423 1841.89 (-0.00) 1841.89 (-0.00)
bce423 1845.51 (-0.00) 1845.51 (-0.00)
c28bfd 1853.44 (+0.01) 1853.44 (+0.01)
95bf19 1841.36 (+0.13) 1841.37 (+0.13)
95bf19 1635.88 (-0.10) 1635.88 (-0.10)
080752 1826.88 (+0.13) 1826.88 (+0.13)
23d5e2 1622.50 (+0.01) 1622.50 (+0.01)
23d5e2 1610.23 (-0.01) 1610.23 (-0.01)
8b710b 1621.93 (-0.00) 1621.93 (-0.00)
8c6e60 1624.35 (+0.01) 1624.35 (+0.01)
10dae7 1614.31 (+0.01) 1614.31 (+0.01)
4c4d3d 1602.26 (-0.00) 1602.26 (-0.00)
9f94d0 1604.12 (-0.00) 1604.12 (-0.00)
9f94d0 1608.96 (+0.05) 1608.96 (+0.05)
9f94d0 1534.23 (+0.01) 1534.23 (+0.01)
c700c7 1518.46 (-0.00) 1518.46 (-0.00)
42c6dd 1520.13 (+0.01) 1520.14 (+0.01)
f6bf7b 1499.25 (-0.02) 1499.26 (-0.02)
1137b5 1523.03 (+0.01) 1523.03 (+0.01)
1468c6 1512.16 (+0.00) 1512.16 (+0.00)
1468c6 1505.66 (-0.00) 1505.66 (-0.00)
c01f92 1509.40 (-0.00) 1509.41 (-0.00)
7ff591 1515.40 (-0.00) 1515.40 (-0.00)
5d4774 1519.14 (-0.12) 1519.14 (-0.12)
56d8c2 1723.49 (-0.01) 1723.49 (-0.01)
12e6f4 1739.20 (+0.01) 1739.20 (+0.01)
12e6f4 1717.46 (-0.00) 1717.46 (-0.00)
12e6f4 1720.18 (-0.01) 1720.18 (-0.01)
61194a 1738.56 (-0.10) 1738.56 (-0.10)
70ce01 1931.09 (+0.01) 1931.09 (+0.01)
c04c20 1907.61 (+0.00) 1907.61 (+0.00)
827ee1 1906.98 (+0.00) 1906.98 (+0.00)
22ae67 1901.48 (-0.01) 1901.48 (-0.01)
0f4458 1915.00 (+0.01) 1915.00 (+0.01)
0f4458 1901.60 (+0.00) 1901.61 (+0.00)
0f4458 1898.11 (+233.45) 1898.11 (+93.41)
83faef 8.10 20.11

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query10]

platform: rds-aurora

revision Q10/1 total_duration
41aa62 165.71 (-0.02) 165.71 (-0.02)
7b5489 168.98 (-0.09) 168.98 (-0.09)
a23b07 185.26 (+0.12) 185.26 (+0.12)
cc2d00 165.63 (+0.07) 165.63 (+0.07)
ba9df2 154.53 (+0.20) 154.53 (+0.20)
a8f354 128.49 (+0.03) 128.49 (+0.03)
7feb0d 125.10 (-0.06) 125.11 (-0.06)
982fce 132.47 (+0.09) 132.47 (+0.09)
1f151d 121.71 (-0.03) 121.71 (-0.03)
ff1a1a 124.87 (-0.15) 124.88 (-0.15)
b1477b 147.03 (-0.01) 147.03 (-0.01)
1b947f 147.87 (-0.04) 147.87 (-0.04)
a21b55 154.84 (-0.02) 154.84 (-0.02)
4ba950 157.72 (+0.13) 157.73 (+0.13)
4e359d 139.25 (+0.00) 139.25 (+0.00)
3837fc 138.67 (+0.14) 138.67 (+0.14)
edcf4d 121.57 (-0.03) 121.57 (-0.03)
411c71 125.02 (-0.08) 125.02 (-0.08)
854348 135.55 (-0.01) 135.55 (-0.01)
7ba5c2 137.43 (+0.04) 137.43 (+0.04)
ebea29 132.22 (+0.03) 132.22 (+0.03)
22c890 127.76 (+0.01) 127.76 (+0.01)
f0b2e0 126.72 (+0.07) 126.72 (+0.07)
dec580 118.79 (-0.01) 118.79 (-0.01)
dec580 119.86 (+0.01) 119.86 (+0.01)
b1c2a6 118.66 (-0.00) 118.66 (-0.00)
931094 118.78 (+0.04) 118.78 (+0.04)
957acb 113.88 (-0.04) 113.88 (-0.04)
846532 118.13 (+0.03) 118.13 (+0.03)
d733bc 114.59 (-0.02) 114.60 (-0.02)
75ffe3 117.20 (+0.04) 117.20 (+0.04)
75ffe3 112.58 (-0.25) 112.58 (-0.25)
bf4623 149.82 (+0.02) 149.82 (+0.02)
b26c83 146.83 (+0.03) 146.83 (+0.03)
9d714a 142.30 (-0.02) 142.30 (-0.02)
6efea4 144.81 (+0.00) 144.81 (+0.00)
4071ff 144.21 (+0.00) 144.21 (+0.00)
870ba4 143.74 (-0.05) 143.74 (-0.05)
f5ca89 151.55 (+0.01) 151.55 (+0.01)
8bd565 150.58 (+0.08) 150.58 (+0.08)
dd22c8 139.90 (-0.03) 139.90 (-0.03)
299db9 143.73 (-0.05) 143.73 (-0.05)
93f3f4 152.09 (+0.08) 152.09 (+0.08)
f6e2e0 141.31 (-0.04) 141.31 (-0.04)
f6e2e0 147.56 (+0.02) 147.57 (+0.02)
f6e2e0 145.09 (-0.00) 145.10 (-0.00)
f1d960 145.48 (-0.09) 145.48 (-0.09)
4a9279 159.16 (+0.04) 159.16 (+0.04)
2e4bf7 153.09 (+0.04) 153.09 (+0.04)
ce8fbb 147.28 (+0.03) 147.28 (+0.03)
ce8fbb 143.32 (-0.04) 143.32 (-0.04)
ce8fbb 149.55 (+0.01) 149.55 (+0.01)
d1a0f2 148.63 (+0.05) 148.63 (+0.05)
ccf92d 141.24 (-0.01) 141.24 (-0.01)
02b8e0 143.05 (-0.00) 143.05 (-0.00)
7b9057 143.19 (-0.02) 143.19 (-0.02)
9cada8 145.97 (+0.01) 145.97 (+0.01)
9cada8 144.00 (+0.00) 144.00 (+0.00)
9cada8 143.61 (-0.03) 143.61 (-0.03)
a60f68 148.38 (+0.04) 148.39 (+0.04)
d19c52 142.63 (-0.01) 142.63 (-0.01)
000eb1 144.63 (+0.04) 144.63 (+0.04)
000eb1 139.67 (-0.02) 139.67 (-0.02)
f51b48 141.90 (+0.01) 141.90 (+0.01)
f51b48 140.45 (+0.01) 140.45 (+0.01)
f51b48 139.40 (-0.04) 139.40 (-0.04)
9f906f 145.50 (+0.14) 145.50 (+0.14)
0692ff 128.03 (-0.03) 128.03 (-0.03)
2caece 132.47 (-0.03) 132.47 (-0.03)
bc7d3c 136.82 (+0.05) 136.82 (+0.05)
2153d2 129.82 (-0.03) 129.82 (-0.03)
2153d2 134.30 (+0.00) 134.30 (+0.00)
2153d2 133.72 (-0.01) 133.73 (-0.01)
a1b062 135.09 (+0.06) 135.09 (+0.06)
1d9d7c 127.01 (-0.06) 127.01 (-0.06)
3569c1 134.71 (+0.04) 134.71 (+0.04)
eaff14 129.04 (-0.02) 129.04 (-0.02)
f383b4 131.81 (+0.02) 131.81 (+0.02)
f383b4 129.38 (-0.00) 129.38 (-0.00)
f383b4 129.54 (+0.01) 129.54 (+0.01)
a4256b 128.77 (+0.00) 128.77 (+0.00)
371493 128.38 (-0.02) 128.38 (-0.02)
c5c143 130.50 (+0.03) 130.51 (+0.03)
58fa4f 126.56 (+0.02) 126.56 (+0.02)
121d53 123.56 (-0.00) 123.56 (-0.00)
121d53 123.74 (-0.01) 123.74 (-0.01)
ec3a3a 125.62 (-0.01) 125.62 (-0.01)
96e783 127.32 (+0.00) 127.32 (+0.00)
567b71 127.03 (+0.03) 127.04 (+0.03)
847fc5 123.75 (-0.03) 123.75 (-0.03)
5e08b3 128.13 (+0.04) 128.13 (+0.04)
4d291d 123.60 (-0.01) 123.60 (-0.01)
4d291d 124.32 (-0.02) 124.32 (-0.02)
bf63f1 127.24 (+0.01) 127.24 (+0.01)
0a0958 126.51 (-0.01) 126.51 (-0.01)
aabca5 127.23 (+0.03) 127.23 (+0.03)
a4be54 123.64 (-0.03) 123.65 (-0.03)
a3d7ad 127.72 (+0.03) 127.73 (+0.03)
a3d7ad 123.96 (-0.00) 123.96 (-0.00)
8ba169 124.04 (+0.01) 124.04 (+0.01)
e5cc2f 123.11 (-0.01) 123.11 (-0.01)
c6b56d 124.79 (+0.01) 124.79 (+0.01)
e067cd 123.18 (-0.01) 123.18 (-0.01)
bce423 123.87 (+0.01) 123.87 (+0.01)
bce423 122.25 (-0.00) 122.25 (-0.00)
c28bfd 122.65 (+0.01) 122.65 (+0.01)
95bf19 121.16 (-0.04) 121.17 (-0.04)
95bf19 126.74 (+0.07) 126.74 (+0.07)
080752 118.30 (-0.02) 118.30 (-0.02)
23d5e2 120.60 (+0.03) 120.60 (+0.03)
23d5e2 116.95 (-0.05) 116.95 (-0.05)
8b710b 123.20 (+0.05) 123.20 (+0.05)
8c6e60 116.82 (-0.01) 116.82 (-0.01)
10dae7 118.11 (-0.01) 118.11 (-0.01)
4c4d3d 119.49 (-0.01) 119.49 (-0.01)
9f94d0 120.34 (-0.00) 120.34 (-0.00)
9f94d0 120.88 (+0.04) 120.89 (+0.04)
9f94d0 115.95 (+0.05) 115.95 (+0.05)
c700c7 110.32 (-0.08) 110.32 (-0.08)
42c6dd 119.77 (+0.10) 119.77 (+0.10)
f6bf7b 108.46 (-0.04) 108.46 (-0.04)
1137b5 113.10 (+0.01) 113.10 (+0.01)
1468c6 111.83 (-0.00) 111.83 (-0.00)
1468c6 112.16 (-0.02) 112.16 (-0.02)
c01f92 114.84 (-0.04) 114.84 (-0.04)
7ff591 119.86 (-0.08) 119.86 (-0.08)
5d4774 130.50 (+0.08) 130.50 (+0.08)
56d8c2 121.02 (+0.04) 121.02 (+0.04)
12e6f4 116.33 (+0.00) 116.33 (+0.00)
12e6f4 116.01 (-0.03) 116.01 (-0.03)
12e6f4 119.43 (-0.02) 119.44 (-0.02)
61194a 121.76 (-0.09) 121.76 (-0.09)
70ce01 134.31 (+0.00) 134.31 (+0.00)
c04c20 133.76 (+0.02) 133.77 (+0.02)
827ee1 130.70 (-0.01) 130.70 (-0.01)
22ae67 132.53 (-0.02) 132.53 (-0.02)
0f4458 134.88 (+0.02) 134.88 (+0.02)
0f4458 132.38 (+0.01) 132.38 (+0.01)
0f4458 131.57 (+37.66) 131.57 (+10.97)
83faef 3.40 10.99

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query11]

platform: rds-aurora

revision Q11/1 total_duration
41aa62 185.54 (+0.03) 185.54 (+0.03)
7b5489 180.64 (-0.12) 180.64 (-0.12)
a23b07 204.28 (+0.09) 204.28 (+0.09)
cc2d00 187.74 (+0.13) 187.74 (+0.13)
ba9df2 166.09 (+0.10) 166.09 (+0.10)
a8f354 151.10 (+0.01) 151.11 (+0.01)
7feb0d 149.17 (-0.09) 149.17 (-0.09)
982fce 163.80 (+0.10) 163.81 (+0.10)
1f151d 149.59 (+0.02) 149.59 (+0.02)
ff1a1a 146.77 (-0.15) 146.77 (-0.15)
b1477b 173.60 (+0.02) 173.60 (+0.02)
1b947f 169.48 (-0.04) 169.48 (-0.04)
a21b55 176.28 (+0.02) 176.28 (+0.02)
4ba950 172.60 (+0.08) 172.61 (+0.08)
4e359d 160.21 (+0.00) 160.21 (+0.00)
3837fc 160.06 (+0.07) 160.07 (+0.07)
edcf4d 149.94 (+0.05) 149.94 (+0.05)
411c71 142.79 (-0.12) 142.79 (-0.12)
854348 162.24 (+0.02) 162.24 (+0.02)
7ba5c2 158.91 (+0.01) 158.91 (+0.01)
ebea29 157.25 (-0.01) 157.25 (-0.01)
22c890 158.56 (+0.01) 158.56 (+0.01)
f0b2e0 157.22 (+0.10) 157.22 (+0.10)
dec580 143.56 (+0.01) 143.56 (+0.01)
dec580 141.45 (-0.03) 141.45 (-0.03)
b1c2a6 145.90 (+0.01) 145.90 (+0.01)
931094 145.02 (+0.02) 145.02 (+0.02)
957acb 141.72 (-0.02) 141.72 (-0.02)
846532 144.45 (+0.00) 144.45 (+0.00)
d733bc 144.32 (-0.01) 144.32 (-0.01)
75ffe3 145.87 (+0.02) 145.87 (+0.02)
75ffe3 142.51 (-0.19) 142.51 (-0.19)
bf4623 175.13 (+0.05) 175.13 (+0.05)
b26c83 166.98 (-0.02) 166.98 (-0.02)
9d714a 170.31 (+0.02) 170.31 (+0.02)
6efea4 167.27 (-0.00) 167.27 (-0.00)
4071ff 167.53 (-0.00) 167.53 (-0.00)
870ba4 168.22 (-0.04) 168.22 (-0.04)
f5ca89 175.14 (+0.02) 175.14 (+0.02)
8bd565 171.93 (+0.05) 171.93 (+0.05)
dd22c8 164.08 (-0.02) 164.08 (-0.02)
299db9 167.63 (-0.02) 167.63 (-0.02)
93f3f4 171.86 (+0.03) 171.86 (+0.03)
f6e2e0 166.33 (-0.02) 166.33 (-0.02)
f6e2e0 169.12 (+0.01) 169.12 (+0.01)
f6e2e0 167.34 (+0.01) 167.35 (+0.01)
f1d960 165.09 (-0.02) 165.10 (-0.02)
4a9279 169.00 (-0.02) 169.00 (-0.02)
2e4bf7 173.32 (+0.03) 173.32 (+0.03)
ce8fbb 168.03 (-0.01) 168.03 (-0.01)
ce8fbb 170.08 (-0.03) 170.08 (-0.03)
ce8fbb 176.19 (+0.07) 176.19 (+0.07)
d1a0f2 165.10 (-0.04) 165.10 (-0.04)
ccf92d 172.71 (+0.02) 172.71 (+0.02)
02b8e0 170.08 (+0.01) 170.08 (+0.01)
7b9057 168.70 (+0.01) 168.70 (+0.01)
9cada8 166.71 (+0.03) 166.71 (+0.03)
9cada8 161.80 (-0.01) 161.80 (-0.01)
9cada8 163.94 (-0.04) 163.94 (-0.04)
a60f68 170.18 (+0.02) 170.18 (+0.02)
d19c52 166.26 (-0.01) 166.26 (-0.01)
000eb1 167.58 (-0.02) 167.58 (-0.02)
000eb1 170.65 (+0.04) 170.65 (+0.04)
f51b48 164.15 (-0.01) 164.15 (-0.01)
f51b48 165.10 (-0.01) 165.10 (-0.01)
f51b48 165.96 (-0.01) 165.96 (-0.01)
9f906f 168.44 (+0.08) 168.44 (+0.08)
0692ff 155.44 (-0.02) 155.44 (-0.02)
2caece 158.22 (+0.03) 158.22 (+0.03)
bc7d3c 154.18 (+0.00) 154.18 (+0.00)
2153d2 153.69 (+0.00) 153.69 (+0.00)
2153d2 153.52 (-0.03) 153.52 (-0.03)
2153d2 157.61 (-0.01) 157.61 (-0.01)
a1b062 159.03 (+0.04) 159.03 (+0.04)
1d9d7c 153.41 (-0.02) 153.41 (-0.02)
3569c1 155.92 (-0.01) 155.92 (-0.01)
eaff14 156.71 (+0.02) 156.71 (+0.02)
f383b4 154.32 (+0.00) 154.32 (+0.00)
f383b4 153.87 (-0.02) 153.87 (-0.02)
f383b4 157.56 (+0.02) 157.56 (+0.02)
a4256b 154.65 (-0.02) 154.65 (-0.02)
371493 157.64 (+0.02) 157.64 (+0.02)
c5c143 154.17 (+0.01) 154.17 (+0.01)
58fa4f 153.08 (-0.01) 153.08 (-0.01)
121d53 153.94 (+0.04) 153.94 (+0.04)
121d53 148.24 (-0.06) 148.24 (-0.06)
ec3a3a 157.35 (+0.02) 157.35 (+0.02)
96e783 154.55 (-0.03) 154.56 (-0.03)
567b71 159.83 (+0.07) 159.83 (+0.07)
847fc5 149.94 (-0.02) 149.94 (-0.02)
5e08b3 152.28 (+0.00) 152.28 (+0.00)
4d291d 151.82 (-0.00) 151.82 (-0.00)
4d291d 152.55 (+0.01) 152.55 (+0.01)
bf63f1 151.70 (+0.03) 151.71 (+0.03)
0a0958 147.50 (-0.04) 147.50 (-0.04)
aabca5 153.31 (+0.00) 153.31 (+0.00)
a4be54 152.71 (+0.02) 152.71 (+0.02)
a3d7ad 150.34 (+0.01) 150.34 (+0.01)
a3d7ad 148.33 (-0.03) 148.33 (-0.03)
8ba169 152.76 (-0.00) 152.76 (-0.00)
e5cc2f 153.38 (+0.02) 153.38 (+0.02)
c6b56d 149.79 (+0.02) 149.79 (+0.02)
e067cd 147.42 (-0.01) 147.42 (-0.01)
bce423 149.12 (-0.00) 149.12 (-0.00)
bce423 149.84 (+0.01) 149.84 (+0.01)
c28bfd 148.87 (+0.03) 148.87 (+0.03)
95bf19 144.05 (+1.17) 144.05 (+1.17)
95bf19 66.46 (-0.45) 66.46 (-0.45)
080752 120.64 (-0.20) 120.64 (-0.20)
23d5e2 151.21 (+0.03) 151.21 (+0.03)
23d5e2 147.30 (+0.01) 147.30 (+0.01)
8b710b 146.16 (-0.00) 146.16 (-0.00)
8c6e60 146.52 (-0.01) 146.52 (-0.01)
10dae7 148.12 (+0.04) 148.13 (+0.04)
4c4d3d 142.01 (+0.48) 142.01 (+0.48)
9f94d0 95.74 (-0.34) 95.74 (-0.34)
9f94d0 145.72 (+0.84) 145.72 (+0.84)
9f94d0 79.16 (+0.24) 79.16 (+0.24)
c700c7 63.65 (-0.09) 63.65 (-0.09)
42c6dd 69.97 (+0.12) 69.97 (+0.12)
f6bf7b 62.23 (-0.25) 62.24 (-0.25)
1137b5 83.06 (-0.08) 83.06 (-0.08)
1468c6 89.96 (-0.10) 89.96 (-0.10)
1468c6 100.01 (+0.63) 100.01 (+0.63)
c01f92 61.51 (-0.29) 61.51 (-0.29)
7ff591 86.82 (-0.03) 86.82 (-0.03)
5d4774 89.08 (-0.36) 89.08 (-0.36)
56d8c2 138.23 (-0.04) 138.23 (-0.04)
12e6f4 143.94 (+0.03) 143.94 (+0.03)
12e6f4 139.89 (-0.04) 139.90 (-0.04)
12e6f4 146.10 (+0.04) 146.10 (+0.04)
61194a 140.02 (-0.11) 140.02 (-0.11)
70ce01 156.76 (+0.02) 156.76 (+0.02)
c04c20 153.50 (+0.00) 153.50 (+0.00)
827ee1 152.82 (-0.02) 152.82 (-0.02)
22ae67 156.13 (-0.03) 156.14 (-0.03)
0f4458 161.45 (+0.05) 161.45 (+0.05)
0f4458 153.90 (+0.00) 153.90 (+0.00)
0f4458 153.14 (+372.73) 153.14 (+126.26)
83faef 0.41 1.20

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query12]

platform: rds-aurora

revision Q12/1 total_duration
41aa62 163.62 (+0.01) 163.62 (+0.01)
7b5489 161.36 (-0.10) 161.36 (-0.10)
a23b07 180.23 (+0.11) 180.24 (+0.11)
cc2d00 162.66 (+0.10) 162.66 (+0.10)
ba9df2 148.03 (+0.16) 148.03 (+0.16)
a8f354 127.33 (+0.05) 127.33 (+0.05)
7feb0d 121.56 (-0.08) 121.56 (-0.08)
982fce 132.42 (+0.10) 132.42 (+0.10)
1f151d 120.67 (-0.01) 120.67 (-0.01)
ff1a1a 122.26 (-0.13) 122.26 (-0.13)
b1477b 140.32 (-0.02) 140.32 (-0.02)
1b947f 143.24 (-0.03) 143.25 (-0.03)
a21b55 148.11 (-0.06) 148.11 (-0.06)
4ba950 157.94 (+0.16) 157.94 (+0.16)
4e359d 136.15 (+0.05) 136.15 (+0.05)
3837fc 129.84 (+0.11) 129.84 (+0.11)
edcf4d 117.33 (+0.00) 117.33 (+0.00)
411c71 116.97 (-0.08) 116.97 (-0.08)
854348 127.54 (-0.04) 127.54 (-0.04)
7ba5c2 132.62 (+0.06) 132.62 (+0.06)
ebea29 125.10 (-0.03) 125.10 (-0.03)
22c890 129.37 (+0.00) 129.37 (+0.00)
f0b2e0 129.19 (+0.14) 129.19 (+0.14)
dec580 113.76 (-0.03) 113.77 (-0.03)
dec580 117.01 (+0.01) 117.01 (+0.01)
b1c2a6 116.18 (+0.03) 116.18 (+0.03)
931094 113.00 (+0.02) 113.00 (+0.02)
957acb 110.72 (-0.06) 110.72 (-0.06)
846532 117.83 (+0.01) 117.83 (+0.01)
d733bc 116.47 (-0.00) 116.47 (-0.00)
75ffe3 117.00 (+0.03) 117.00 (+0.03)
75ffe3 114.10 (-0.21) 114.10 (-0.21)
bf4623 144.92 (+0.00) 144.92 (+0.00)
b26c83 144.21 (+0.04) 144.21 (+0.04)
9d714a 138.42 (-0.01) 138.42 (-0.01)
6efea4 139.53 (+0.01) 139.53 (+0.01)
4071ff 138.33 (-0.03) 138.33 (-0.03)
870ba4 142.19 (-0.00) 142.19 (-0.01)
f5ca89 142.90 (-0.03) 142.90 (-0.03)
8bd565 147.53 (+0.07) 147.53 (+0.07)
dd22c8 138.32 (-0.06) 138.32 (-0.06)
299db9 147.27 (+0.03) 147.27 (+0.03)
93f3f4 143.25 (+0.02) 143.25 (+0.02)
f6e2e0 140.96 (-0.01) 140.96 (-0.01)
f6e2e0 142.19 (+0.01) 142.19 (+0.01)
f6e2e0 140.61 (+0.03) 140.61 (+0.03)
f1d960 137.15 (-0.05) 137.15 (-0.05)
4a9279 143.84 (+0.00) 143.84 (+0.00)
2e4bf7 143.57 (+0.03) 143.57 (+0.03)
ce8fbb 139.39 (+0.00) 139.39 (+0.00)
ce8fbb 139.15 (-0.04) 139.15 (-0.04)
ce8fbb 144.44 (+0.00) 144.44 (+0.00)
d1a0f2 143.94 (+0.02) 143.94 (+0.02)
ccf92d 140.69 (+0.01) 140.70 (+0.01)
02b8e0 139.08 (-0.00) 139.08 (-0.00)
7b9057 139.25 (-0.01) 139.25 (-0.01)
9cada8 141.07 (-0.01) 141.07 (-0.01)
9cada8 142.27 (+0.04) 142.27 (+0.04)
9cada8 136.90 (-0.08) 136.91 (-0.08)
a60f68 148.64 (+0.09) 148.64 (+0.09)
d19c52 136.70 (-0.03) 136.70 (-0.03)
000eb1 140.80 (+0.03) 140.80 (+0.03)
000eb1 137.31 (-0.03) 137.31 (-0.03)
f51b48 141.04 (+0.02) 141.04 (+0.02)
f51b48 138.10 (+0.01) 138.10 (+0.01)
f51b48 136.24 (-0.03) 136.24 (-0.03)
9f906f 139.80 (+0.12) 139.81 (+0.12)
0692ff 124.30 (-0.01) 124.30 (-0.01)
2caece 126.09 (-0.01) 126.09 (-0.01)
bc7d3c 127.60 (+0.00) 127.60 (+0.00)
2153d2 127.52 (+0.01) 127.52 (+0.01)
2153d2 126.00 (-0.02) 126.00 (-0.02)
2153d2 128.91 (+0.00) 128.91 (+0.00)
a1b062 128.80 (+0.00) 128.80 (+0.00)
1d9d7c 128.31 (+0.02) 128.31 (+0.02)
3569c1 125.78 (+0.03) 125.78 (+0.03)
eaff14 122.68 (-0.07) 122.68 (-0.07)
f383b4 131.94 (+0.04) 131.94 (+0.04)
f383b4 126.74 (+0.03) 126.74 (+0.03)
f383b4 123.34 (+0.01) 123.34 (+0.01)
a4256b 122.03 (-0.01) 122.03 (-0.01)
371493 122.67 (-0.03) 122.67 (-0.03)
c5c143 126.58 (+0.05) 126.58 (+0.05)
58fa4f 120.26 (-0.00) 120.26 (-0.00)
121d53 120.75 (-0.01) 120.75 (-0.01)
121d53 122.24 (+0.01) 122.24 (+0.01)
ec3a3a 120.71 (-0.04) 120.72 (-0.04)
96e783 125.90 (+0.02) 125.90 (+0.02)
567b71 123.61 (+0.01) 123.61 (+0.01)
847fc5 121.94 (+0.02) 121.94 (+0.02)
5e08b3 119.23 (+0.01) 119.23 (+0.01)
4d291d 118.23 (-0.03) 118.23 (-0.03)
4d291d 122.41 (+0.03) 122.41 (+0.03)
bf63f1 118.53 (-0.02) 118.53 (-0.02)
0a0958 120.66 (+0.01) 120.66 (+0.01)
aabca5 119.41 (+0.00) 119.41 (+0.00)
a4be54 118.91 (-0.02) 118.91 (-0.02)
a3d7ad 120.90 (+0.01) 120.90 (+0.01)
a3d7ad 119.90 (+0.00) 119.91 (+0.00)
8ba169 119.44 (+0.02) 119.44 (+0.02)
e5cc2f 116.92 (-0.03) 116.92 (-0.03)
c6b56d 120.60 (+0.03) 120.60 (+0.03)
e067cd 117.04 (-0.02) 117.05 (-0.02)
bce423 119.97 (+0.03) 119.98 (+0.03)
bce423 116.86 (-0.04) 116.86 (-0.04)
c28bfd 122.32 (+0.06) 122.32 (+0.06)
95bf19 115.89 (-0.07) 115.89 (-0.07)
95bf19 124.17 (+0.03) 124.17 (+0.03)
080752 120.52 (+0.01) 120.52 (+0.01)
23d5e2 119.38 (+0.04) 119.39 (+0.04)
23d5e2 115.09 (-0.03) 115.09 (-0.03)
8b710b 118.77 (+0.02) 118.77 (+0.02)
8c6e60 115.98 (-0.01) 115.98 (-0.01)
10dae7 116.59 (+0.02) 116.59 (+0.02)
4c4d3d 114.58 (-0.06) 114.58 (-0.06)
9f94d0 122.50 (+0.03) 122.50 (+0.03)
9f94d0 119.50 (+0.04) 119.50 (+0.04)
9f94d0 115.24 (+0.05) 115.24 (+0.05)
c700c7 109.90 (-0.07) 109.91 (-0.07)
42c6dd 117.82 (+0.04) 117.82 (+0.04)
f6bf7b 113.34 (-0.01) 113.34 (-0.01)
1137b5 114.59 (-0.00) 114.59 (-0.00)
1468c6 114.81 (+0.00) 114.81 (+0.00)
1468c6 114.29 (+0.01) 114.29 (+0.01)
c01f92 113.48 (+0.02) 113.48 (+0.02)
7ff591 111.08 (-0.01) 111.08 (-0.01)
5d4774 111.93 (-0.02) 111.93 (-0.02)
56d8c2 114.07 (-0.02) 114.07 (-0.02)
12e6f4 116.25 (+0.02) 116.25 (+0.02)
12e6f4 114.30 (-0.04) 114.30 (-0.04)
12e6f4 118.46 (+0.00) 118.46 (+0.00)
61194a 117.96 (-0.11) 117.97 (-0.11)
70ce01 132.36 (+0.05) 132.36 (+0.05)
c04c20 125.98 (-0.02) 125.98 (-0.02)
827ee1 128.28 (+0.01) 128.28 (+0.01)
22ae67 127.29 (-0.02) 127.29 (-0.02)
0f4458 130.01 (-0.01) 130.01 (-0.01)
0f4458 131.56 (+0.03) 131.56 (+0.03)
0f4458 127.75 (+33.48) 127.75 (+9.00)
83faef 3.71 12.78

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query13]

platform: rds-aurora

revision Q13/1 total_duration
41aa62 77.61 (+0.06) 77.62 (+0.06)
7b5489 73.12 (-0.12) 73.12 (-0.12)
a23b07 83.36 (+0.04) 83.36 (+0.04)
cc2d00 80.23 (+0.15) 80.23 (+0.15)
ba9df2 69.67 (+0.17) 69.67 (+0.17)
a8f354 59.30 (+0.03) 59.30 (+0.03)
7feb0d 57.72 (-0.16) 57.73 (-0.16)
982fce 68.83 (+0.16) 68.83 (+0.16)
1f151d 59.31 (-0.01) 59.31 (-0.01)
ff1a1a 59.74 (-0.12) 59.74 (-0.12)
b1477b 67.84 (-0.02) 67.84 (-0.02)
1b947f 69.33 (-0.02) 69.33 (-0.02)
a21b55 70.41 (+0.04) 70.41 (+0.04)
4ba950 67.93 (+0.06) 67.93 (+0.06)
4e359d 64.22 (+0.01) 64.22 (+0.01)
3837fc 63.83 (+0.08) 63.83 (+0.08)
edcf4d 59.22 (+0.05) 59.22 (+0.05)
411c71 56.25 (-0.07) 56.25 (-0.07)
854348 60.77 (-0.01) 60.77 (-0.01)
7ba5c2 61.46 (+0.02) 61.46 (+0.02)
ebea29 60.46 (-0.03) 60.46 (-0.03)
22c890 62.05 (+0.02) 62.05 (+0.02)
f0b2e0 60.67 (+0.11) 60.67 (+0.11)
dec580 54.82 (-0.02) 54.82 (-0.02)
dec580 56.04 (+0.00) 56.04 (+0.00)
b1c2a6 55.80 (+0.03) 55.80 (+0.03)
931094 54.41 (+0.03) 54.41 (+0.03)
957acb 53.04 (-0.02) 53.04 (-0.02)
846532 54.03 (-0.03) 54.03 (-0.03)
d733bc 55.73 (+0.02) 55.73 (+0.02)
75ffe3 54.53 (+0.01) 54.53 (+0.01)
75ffe3 54.09 (-0.24) 54.09 (-0.24)
bf4623 71.41 (+0.03) 71.41 (+0.03)
b26c83 69.55 (+0.01) 69.55 (+0.01)
9d714a 68.74 (+0.00) 68.74 (+0.00)
6efea4 68.46 (+0.04) 68.47 (+0.04)
4071ff 65.64 (-0.02) 65.64 (-0.02)
870ba4 67.29 (-0.03) 67.29 (-0.03)
f5ca89 69.27 (+0.01) 69.27 (+0.01)
8bd565 68.91 (-0.03) 68.91 (-0.03)
dd22c8 70.80 (+0.03) 70.80 (+0.03)
299db9 68.64 (-0.00) 68.64 (-0.00)
93f3f4 68.87 (+0.03) 68.87 (+0.03)
f6e2e0 66.85 (-0.05) 66.85 (-0.05)
f6e2e0 70.27 (+0.02) 70.27 (+0.02)
f6e2e0 68.99 (+0.03) 68.99 (+0.03)
f1d960 66.66 (-0.04) 66.67 (-0.04)
4a9279 69.59 (+0.03) 69.59 (+0.03)
2e4bf7 67.62 (-0.01) 67.63 (-0.01)
ce8fbb 68.22 (+0.03) 68.22 (+0.03)
ce8fbb 66.18 (-0.02) 66.18 (-0.02)
ce8fbb 67.86 (-0.00) 67.87 (-0.00)
d1a0f2 68.02 (+0.01) 68.02 (+0.01)
ccf92d 67.48 (-0.01) 67.48 (-0.01)
02b8e0 68.39 (+0.01) 68.39 (+0.01)
7b9057 67.82 (-0.03) 67.82 (-0.03)
9cada8 69.90 (-0.03) 69.90 (-0.03)
9cada8 72.09 (+0.09) 72.09 (+0.09)
9cada8 66.33 (-0.05) 66.33 (-0.05)
a60f68 69.52 (+0.05) 69.53 (+0.05)
d19c52 66.25 (+0.00) 66.25 (+0.00)
000eb1 66.16 (-0.09) 66.16 (-0.09)
000eb1 73.10 (+0.09) 73.10 (+0.09)
f51b48 67.18 (+0.01) 67.18 (+0.01)
f51b48 66.67 (-0.04) 66.67 (-0.04)
f51b48 69.42 (+0.07) 69.42 (+0.07)
9f906f 64.72 (+0.05) 64.72 (+0.05)
0692ff 61.66 (+0.01) 61.67 (+0.01)
2caece 60.86 (+0.00) 60.86 (+0.00)
bc7d3c 60.70 (+0.00) 60.70 (+0.00)
2153d2 60.53 (-0.00) 60.54 (-0.00)
2153d2 60.74 (-0.04) 60.74 (-0.04)
2153d2 63.12 (-0.00) 63.12 (-0.00)
a1b062 63.14 (+0.04) 63.14 (+0.04)
1d9d7c 60.64 (-0.03) 60.64 (-0.03)
3569c1 62.65 (+0.02) 62.65 (+0.02)
eaff14 61.72 (-0.02) 61.72 (-0.02)
f383b4 63.15 (+0.06) 63.15 (+0.06)
f383b4 59.61 (-0.01) 59.61 (-0.01)
f383b4 59.93 (+0.06) 59.93 (+0.06)
a4256b 56.75 (-0.04) 56.75 (-0.04)
371493 59.26 (-0.03) 59.26 (-0.03)
c5c143 60.86 (+0.05) 60.86 (+0.05)
58fa4f 57.80 (-0.02) 57.80 (-0.02)
121d53 58.69 (+0.00) 58.69 (+0.00)
121d53 58.43 (-0.03) 58.43 (-0.03)
ec3a3a 60.54 (+0.00) 60.54 (+0.00)
96e783 60.39 (+0.03) 60.39 (+0.03)
567b71 58.63 (+0.04) 58.63 (+0.04)
847fc5 56.62 (-0.03) 56.63 (-0.03)
5e08b3 58.61 (+0.03) 58.61 (+0.03)
4d291d 56.72 (-0.04) 56.72 (-0.04)
4d291d 59.28 (-0.02) 59.28 (-0.02)
bf63f1 60.24 (+0.05) 60.24 (+0.05)
0a0958 57.47 (+0.02) 57.47 (+0.02)
aabca5 56.22 (-0.03) 56.23 (-0.03)
a4be54 58.00 (-0.01) 58.01 (-0.01)
a3d7ad 58.66 (+0.03) 58.66 (+0.03)
a3d7ad 56.92 (-0.03) 56.92 (-0.03)
8ba169 58.80 (+0.02) 58.80 (+0.02)
e5cc2f 57.42 (-0.04) 57.42 (-0.04)
c6b56d 59.74 (+0.01) 59.74 (+0.01)
e067cd 59.38 (+0.00) 59.38 (+0.00)
bce423 59.10 (-0.01) 59.10 (-0.01)
bce423 59.46 (+0.01) 59.46 (+0.01)
c28bfd 58.95 (+0.03) 58.95 (+0.03)
95bf19 57.22 (-0.03) 57.22 (-0.03)
95bf19 59.14 (+0.01) 59.14 (+0.01)
080752 58.56 (-0.01) 58.56 (-0.01)
23d5e2 59.31 (+0.02) 59.31 (+0.02)
23d5e2 57.91 (+0.03) 57.91 (+0.03)
8b710b 56.29 (-0.01) 56.29 (-0.01)
8c6e60 56.83 (+0.01) 56.83 (+0.01)
10dae7 56.49 (-0.01) 56.49 (-0.01)
4c4d3d 57.03 (-0.03) 57.03 (-0.03)
9f94d0 58.69 (-0.01) 58.70 (-0.01)
9f94d0 59.18 (+0.08) 59.18 (+0.08)
9f94d0 54.75 (-0.06) 54.75 (-0.06)
c700c7 58.37 (+0.08) 58.37 (+0.08)
42c6dd 54.19 (+0.01) 54.19 (+0.01)
f6bf7b 53.68 (+0.00) 53.68 (+0.00)
1137b5 53.45 (+0.00) 53.45 (+0.00)
1468c6 53.31 (+0.01) 53.31 (+0.01)
1468c6 53.03 (-0.19) 53.03 (-0.19)
c01f92 65.42 (+0.04) 65.42 (+0.04)
7ff591 63.04 (-0.00) 63.04 (-0.00)
5d4774 63.35 (+0.15) 63.35 (+0.15)
56d8c2 55.30 (-0.03) 55.31 (-0.03)
12e6f4 57.12 (+0.04) 57.12 (+0.04)
12e6f4 55.06 (+0.00) 55.06 (+0.00)
12e6f4 54.96 (-0.01) 54.96 (-0.01)
61194a 55.42 (-0.09) 55.42 (-0.09)
70ce01 60.64 (-0.14) 60.64 (-0.14)
c04c20 70.52 (-0.00) 70.52 (-0.00)
827ee1 70.76 (+0.05) 70.76 (+0.05)
22ae67 67.37 (+0.03) 67.38 (+0.03)
0f4458 65.41 (+0.04) 65.41 (+0.04)
0f4458 63.16 (+0.00) 63.17 (+0.00)
0f4458 63.13 (+15.02) 63.13 (+4.79)
83faef 3.94 10.90

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query14]

platform: rds-aurora

revision Q14/1 total_duration
41aa62 115.67 (+0.04) 115.67 (+0.04)
7b5489 110.84 (-0.09) 110.84 (-0.09)
a23b07 122.39 (+0.10) 122.39 (+0.10)
cc2d00 111.14 (+0.06) 111.14 (+0.06)
ba9df2 104.72 (+0.16) 104.73 (+0.16)
a8f354 90.43 (+0.06) 90.43 (+0.06)
7feb0d 85.55 (-0.11) 85.55 (-0.11)
982fce 96.07 (+0.12) 96.07 (+0.12)
1f151d 85.90 (+0.02) 85.91 (+0.02)
ff1a1a 84.28 (-0.17) 84.28 (-0.17)
b1477b 101.14 (+0.01) 101.14 (+0.01)
1b947f 100.52 (-0.06) 100.52 (-0.06)
a21b55 107.14 (+0.02) 107.14 (+0.02)
4ba950 104.53 (+0.09) 104.53 (+0.09)
4e359d 96.14 (+0.03) 96.14 (+0.03)
3837fc 93.12 (+0.09) 93.12 (+0.09)
edcf4d 85.63 (+0.04) 85.63 (+0.04)
411c71 82.51 (-0.09) 82.51 (-0.09)
854348 90.64 (-0.02) 90.64 (-0.02)
7ba5c2 92.23 (+0.07) 92.24 (+0.07)
ebea29 86.48 (-0.05) 86.48 (-0.05)
22c890 90.76 (+0.03) 90.76 (+0.03)
f0b2e0 88.45 (+0.06) 88.45 (+0.06)
dec580 83.78 (+0.06) 83.78 (+0.06)
dec580 79.05 (-0.04) 79.05 (-0.04)
b1c2a6 82.45 (+0.04) 82.45 (+0.04)
931094 79.25 (+0.00) 79.25 (+0.00)
957acb 79.19 (-0.03) 79.19 (-0.03)
846532 81.63 (+0.06) 81.63 (+0.06)
d733bc 76.86 (-0.02) 76.86 (-0.02)
75ffe3 78.67 (+0.00) 78.67 (+0.00)
75ffe3 78.52 (-0.23) 78.52 (-0.23)
bf4623 102.18 (+0.05) 102.18 (+0.05)
b26c83 97.03 (-0.01) 97.03 (-0.01)
9d714a 97.66 (+0.02) 97.66 (+0.02)
6efea4 96.21 (-0.03) 96.21 (-0.03)
4071ff 99.41 (+0.03) 99.41 (+0.03)
870ba4 96.20 (-0.04) 96.20 (-0.04)
f5ca89 100.16 (-0.03) 100.16 (-0.03)
8bd565 103.43 (+0.08) 103.43 (+0.08)
dd22c8 96.18 (-0.05) 96.18 (-0.05)
299db9 100.81 (+0.00) 100.81 (+0.00)
93f3f4 100.34 (+0.06) 100.34 (+0.06)
f6e2e0 94.61 (-0.05) 94.61 (-0.05)
f6e2e0 99.12 (+0.04) 99.12 (+0.04)
f6e2e0 94.91 (-0.02) 94.91 (-0.02)
f1d960 96.93 (-0.02) 96.93 (-0.02)
4a9279 98.50 (-0.04) 98.50 (-0.04)
2e4bf7 103.05 (+0.08) 103.05 (+0.08)
ce8fbb 95.34 (-0.03) 95.34 (-0.03)
ce8fbb 98.26 (-0.04) 98.26 (-0.04)
ce8fbb 102.24 (+0.03) 102.24 (+0.03)
d1a0f2 98.93 (-0.01) 98.93 (-0.01)
ccf92d 99.46 (-0.01) 99.46 (-0.01)
02b8e0 100.16 (-0.00) 100.16 (-0.00)
7b9057 100.44 (+0.09) 100.44 (+0.09)
9cada8 92.53 (-0.05) 92.53 (-0.05)
9cada8 97.02 (+0.01) 97.02 (+0.01)
9cada8 96.26 (-0.05) 96.26 (-0.05)
a60f68 101.80 (+0.07) 101.80 (+0.07)
d19c52 95.45 (-0.00) 95.45 (-0.00)
000eb1 95.84 (-0.00) 95.84 (-0.00)
000eb1 96.00 (+0.01) 96.00 (+0.01)
f51b48 95.35 (+0.00) 95.35 (+0.00)
f51b48 94.93 (-0.04) 94.93 (-0.04)
f51b48 98.64 (+0.03) 98.64 (+0.03)
9f906f 95.39 (+0.09) 95.39 (+0.09)
0692ff 87.78 (+0.03) 87.78 (+0.03)
2caece 84.82 (-0.02) 84.82 (-0.02)
bc7d3c 86.47 (-0.04) 86.47 (-0.04)
2153d2 90.15 (+0.05) 90.15 (+0.05)
2153d2 86.26 (-0.04) 86.26 (-0.04)
2153d2 89.84 (+0.05) 89.84 (+0.05)
a1b062 85.33 (-0.01) 85.33 (-0.01)
1d9d7c 86.50 (-0.01) 86.50 (-0.01)
3569c1 87.31 (-0.03) 87.31 (-0.03)
eaff14 89.58 (+0.00) 89.58 (+0.00)
f383b4 89.24 (+0.01) 89.24 (+0.01)
f383b4 88.44 (-0.01) 88.44 (-0.01)
f383b4 89.25 (+0.06) 89.25 (+0.06)
a4256b 84.03 (-0.04) 84.03 (-0.04)
371493 87.73 (-0.01) 87.73 (-0.01)
c5c143 88.18 (+0.03) 88.18 (+0.03)
58fa4f 85.94 (+0.02) 85.94 (+0.02)
121d53 83.94 (+0.01) 83.94 (+0.01)
121d53 82.91 (-0.06) 82.91 (-0.06)
ec3a3a 87.97 (-0.01) 87.97 (-0.01)
96e783 88.79 (+0.04) 88.79 (+0.04)
567b71 85.06 (+0.01) 85.06 (+0.01)
847fc5 84.03 (+0.02) 84.03 (+0.02)
5e08b3 82.65 (-0.03) 82.65 (-0.03)
4d291d 84.85 (-0.01) 84.85 (-0.01)
4d291d 85.45 (+0.03) 85.45 (+0.03)
bf63f1 82.57 (-0.00) 82.57 (-0.00)
0a0958 82.90 (+0.01) 82.90 (+0.01)
aabca5 81.72 (-0.04) 81.72 (-0.04)
a4be54 84.76 (+0.04) 84.76 (+0.04)
a3d7ad 81.53 (-0.01) 81.53 (-0.01)
a3d7ad 82.21 (-0.00) 82.21 (-0.00)
8ba169 82.34 (-0.02) 82.34 (-0.02)
e5cc2f 84.19 (+0.02) 84.20 (+0.02)
c6b56d 82.83 (+0.02) 82.83 (+0.02)
e067cd 81.47 (-0.03) 81.47 (-0.03)
bce423 83.67 (+0.02) 83.67 (+0.02)
bce423 81.98 (-0.03) 81.98 (-0.03)
c28bfd 84.22 (+0.06) 84.22 (+0.06)
95bf19 79.15 (-0.04) 79.15 (-0.04)
95bf19 82.37 (-0.00) 82.37 (-0.00)
080752 82.50 (-0.01) 82.51 (-0.01)
23d5e2 83.01 (+0.00) 83.01 (+0.00)
23d5e2 82.96 (+0.06) 82.96 (+0.06)
8b710b 78.54 (-0.04) 78.54 (-0.04)
8c6e60 81.56 (-0.01) 81.56 (-0.01)
10dae7 82.03 (+0.00) 82.03 (+0.00)
4c4d3d 81.94 (-0.01) 81.94 (-0.01)
9f94d0 82.55 (-0.00) 82.55 (-0.00)
9f94d0 82.81 (+0.05) 82.81 (+0.05)
9f94d0 79.03 (-0.03) 79.03 (-0.03)
c700c7 81.26 (+0.06) 81.26 (+0.06)
42c6dd 76.42 (-0.02) 76.42 (-0.02)
f6bf7b 77.84 (+0.03) 77.85 (+0.03)
1137b5 75.43 (-0.02) 75.43 (-0.02)
1468c6 76.59 (-0.00) 76.59 (-0.00)
1468c6 76.77 (+0.00) 76.77 (+0.00)
c01f92 76.47 (-0.04) 76.47 (-0.04)
7ff591 79.26 (-0.02) 79.26 (-0.02)
5d4774 80.54 (+0.04) 80.54 (+0.04)
56d8c2 77.65 (-0.05) 77.65 (-0.05)
12e6f4 81.60 (+0.01) 81.60 (+0.01)
12e6f4 80.42 (-0.00) 80.42 (-0.00)
12e6f4 80.64 (-0.01) 80.64 (-0.01)
61194a 81.80 (-0.11) 81.80 (-0.11)
70ce01 91.98 (+0.05) 91.98 (+0.05)
c04c20 87.50 (-0.06) 87.50 (-0.06)
827ee1 92.68 (-0.01) 92.68 (-0.01)
22ae67 93.83 (+0.01) 93.83 (+0.01)
0f4458 92.68 (+0.02) 92.68 (+0.02)
0f4458 91.18 (+0.06) 91.18 (+0.06)
0f4458 86.31 (+27.56) 86.32 (+11.11)
83faef 3.02 7.13

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query15]

platform: rds-aurora

revision Q15/1 total_duration
41aa62 231.70 (+0.03) 231.71 (+0.03)
7b5489 225.17 (-0.12) 225.17 (-0.12)
a23b07 255.65 (+0.12) 255.65 (+0.12)
cc2d00 228.27 (+0.07) 228.28 (+0.07)
ba9df2 213.31 (+0.19) 213.31 (+0.19)
a8f354 179.67 (+0.04) 179.67 (+0.04)
7feb0d 173.46 (-0.08) 173.46 (-0.08)
982fce 189.57 (+0.11) 189.57 (+0.11)
1f151d 171.54 (+0.02) 171.54 (+0.02)
ff1a1a 168.98 (-0.17) 168.98 (-0.17)
b1477b 204.35 (+0.02) 204.35 (+0.02)
1b947f 199.65 (-0.08) 199.66 (-0.08)
a21b55 217.18 (+0.03) 217.18 (+0.03)
4ba950 211.05 (+0.11) 211.05 (+0.11)
4e359d 189.68 (+0.02) 189.68 (+0.02)
3837fc 186.17 (+0.09) 186.17 (+0.09)
edcf4d 170.15 (-0.01) 170.15 (-0.01)
411c71 171.15 (-0.08) 171.15 (-0.08)
854348 186.33 (+0.03) 186.33 (+0.03)
7ba5c2 180.30 (+0.01) 180.30 (+0.01)
ebea29 178.00 (-0.05) 178.00 (-0.05)
22c890 187.09 (+0.05) 187.09 (+0.05)
f0b2e0 177.64 (+0.06) 177.64 (+0.06)
dec580 166.80 (+0.03) 166.80 (+0.03)
dec580 161.16 (-0.02) 161.16 (-0.02)
b1c2a6 164.91 (-0.01) 164.91 (-0.01)
931094 166.16 (+0.02) 166.17 (+0.02)
957acb 163.06 (-0.02) 163.06 (-0.02)
846532 165.56 (+0.06) 165.56 (+0.06)
d733bc 155.92 (-0.04) 155.92 (-0.04)
75ffe3 163.14 (+0.03) 163.14 (+0.03)
75ffe3 157.75 (-0.25) 157.75 (-0.25)
bf4623 211.42 (+0.04) 211.43 (+0.04)
b26c83 203.65 (-0.01) 203.65 (-0.01)
9d714a 205.28 (+0.02) 205.28 (+0.02)
6efea4 200.40 (+0.02) 200.40 (+0.02)
4071ff 196.67 (-0.03) 196.67 (-0.03)
870ba4 202.26 (+0.00) 202.26 (+0.00)
f5ca89 202.10 (-0.01) 202.10 (-0.01)
8bd565 204.89 (+0.05) 204.89 (+0.05)
dd22c8 195.03 (-0.05) 195.03 (-0.05)
299db9 204.68 (+0.05) 204.68 (+0.05)
93f3f4 195.04 (+0.00) 195.04 (+0.00)
f6e2e0 194.68 (-0.02) 194.68 (-0.02)
f6e2e0 198.65 (-0.01) 198.65 (-0.01)
f6e2e0 199.98 (+0.01) 199.98 (+0.01)
f1d960 197.44 (-0.01) 197.44 (-0.01)
4a9279 199.37 (+0.02) 199.37 (+0.02)
2e4bf7 196.20 (+0.01) 196.20 (+0.01)
ce8fbb 194.67 (-0.01) 194.67 (-0.01)
ce8fbb 196.06 (+0.01) 196.06 (+0.01)
ce8fbb 194.84 (-0.04) 194.84 (-0.04)
d1a0f2 203.93 (+0.04) 203.93 (+0.04)
ccf92d 195.76 (-0.00) 195.76 (-0.00)
02b8e0 196.00 (-0.00) 196.01 (-0.00)
7b9057 196.96 (+0.00) 196.96 (+0.00)
9cada8 196.03 (-0.00) 196.03 (-0.00)
9cada8 196.23 (+0.01) 196.23 (+0.01)
9cada8 193.34 (-0.06) 193.34 (-0.06)
a60f68 205.60 (+0.05) 205.60 (+0.05)
d19c52 195.30 (+0.01) 195.30 (+0.01)
000eb1 193.98 (-0.05) 193.98 (-0.05)
000eb1 203.27 (+0.03) 203.28 (+0.03)
f51b48 196.47 (-0.01) 196.47 (-0.01)
f51b48 197.65 (+0.02) 197.66 (+0.02)
f51b48 193.57 (-0.02) 193.57 (-0.02)
9f906f 197.56 (+0.15) 197.56 (+0.15)
0692ff 172.35 (-0.02) 172.36 (-0.02)
2caece 176.19 (-0.03) 176.19 (-0.03)
bc7d3c 181.59 (-0.00) 181.59 (-0.00)
2153d2 182.04 (+0.03) 182.04 (+0.03)
2153d2 176.62 (+0.00) 176.63 (+0.00)
2153d2 176.00 (-0.03) 176.00 (-0.03)
a1b062 182.16 (+0.05) 182.16 (+0.05)
1d9d7c 173.27 (-0.02) 173.27 (-0.02)
3569c1 177.29 (+0.01) 177.29 (+0.01)
eaff14 176.25 (-0.04) 176.25 (-0.04)
f383b4 182.79 (+0.00) 182.79 (+0.00)
f383b4 182.72 (+0.01) 182.72 (+0.01)
f383b4 180.97 (+0.01) 180.97 (+0.01)
a4256b 178.64 (+0.02) 178.64 (+0.02)
371493 174.51 (-0.03) 174.51 (-0.03)
c5c143 180.11 (+0.07) 180.11 (+0.07)
58fa4f 168.67 (-0.03) 168.67 (-0.03)
121d53 174.07 (-0.05) 174.07 (-0.05)
121d53 182.89 (+0.08) 182.89 (+0.08)
ec3a3a 169.26 (-0.06) 169.26 (-0.06)
96e783 179.48 (+0.05) 179.48 (+0.05)
567b71 171.09 (-0.01) 171.09 (-0.01)
847fc5 173.17 (+0.01) 173.17 (+0.01)
5e08b3 171.38 (+0.02) 171.38 (+0.02)
4d291d 167.46 (-0.03) 167.46 (-0.03)
4d291d 172.49 (+0.04) 172.49 (+0.04)
bf63f1 166.62 (-0.03) 166.62 (-0.03)
0a0958 171.09 (+0.01) 171.09 (+0.01)
aabca5 168.85 (-0.02) 168.85 (-0.02)
a4be54 172.36 (-0.00) 172.36 (-0.00)
a3d7ad 172.45 (+0.02) 172.45 (+0.02)
a3d7ad 168.59 (+0.01) 168.59 (+0.01)
8ba169 167.73 (+0.00) 167.73 (+0.00)
e5cc2f 167.43 (-0.01) 167.43 (-0.01)
c6b56d 168.68 (+0.02) 168.68 (+0.02)
e067cd 165.68 (-0.01) 165.68 (-0.01)
bce423 167.38 (+0.01) 167.39 (+0.01)
bce423 165.08 (-0.03) 165.08 (-0.03)
c28bfd 169.89 (+0.03) 169.89 (+0.03)
95bf19 165.13 (+0.01) 165.13 (+0.01)
95bf19 164.01 (+0.01) 164.01 (+0.01)
080752 162.55 (-0.02) 162.55 (-0.02)
23d5e2 166.08 (-0.01) 166.08 (-0.01)
23d5e2 167.14 (-0.02) 167.14 (-0.02)
8b710b 170.48 (+0.07) 170.48 (+0.07)
8c6e60 159.69 (-0.01) 159.69 (-0.01)
10dae7 161.60 (-0.02) 161.60 (-0.02)
4c4d3d 164.74 (-0.03) 164.75 (-0.03)
9f94d0 169.19 (+0.07) 169.19 (+0.07)
9f94d0 157.78 (+0.02) 157.79 (+0.02)
9f94d0 154.89 (+0.08) 154.89 (+0.08)
c700c7 143.38 (-0.05) 143.38 (-0.05)
42c6dd 150.62 (+0.04) 150.62 (+0.04)
f6bf7b 144.48 (+0.01) 144.49 (+0.01)
1137b5 143.10 (-0.01) 143.10 (-0.01)
1468c6 144.76 (-0.01) 144.76 (-0.01)
1468c6 146.15 (+0.04) 146.15 (+0.04)
c01f92 140.59 (+0.03) 140.59 (+0.03)
7ff591 136.85 (-0.01) 136.85 (-0.01)
5d4774 138.29 (-0.15) 138.29 (-0.15)
56d8c2 163.18 (+0.00) 163.18 (+0.00)
12e6f4 162.47 (+0.01) 162.47 (+0.01)
12e6f4 161.13 (-0.03) 161.13 (-0.03)
12e6f4 166.94 (-0.02) 166.94 (-0.02)
61194a 169.66 (-0.08) 169.67 (-0.08)
70ce01 184.75 (+0.05) 184.75 (+0.05)
c04c20 176.46 (-0.05) 176.46 (-0.05)
827ee1 185.71 (+0.04) 185.71 (+0.04)
22ae67 179.33 (-0.01) 179.33 (-0.01)
0f4458 181.21 (-0.02) 181.21 (-0.02)
0f4458 184.67 (+0.04) 184.67 (+0.04)
0f4458 177.50 (+34.32) 177.50 (+10.66)
83faef 5.03 15.22

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query16]

platform: rds-aurora

revision Q16/1 total_duration
41aa62 28.85 (+0.04) 28.85 (+0.04)
7b5489 27.82 (-0.05) 27.82 (-0.05)
a23b07 29.35 (+0.05) 29.35 (+0.05)
cc2d00 28.04 (+0.10) 28.04 (+0.10)
ba9df2 25.58 (+0.09) 25.58 (+0.09)
a8f354 23.48 (+0.00) 23.48 (+0.00)
7feb0d 23.39 (-0.12) 23.39 (-0.12)
982fce 26.67 (+0.15) 26.67 (+0.15)
1f151d 23.14 (-0.04) 23.14 (-0.04)
ff1a1a 24.15 (-0.11) 24.15 (-0.11)
b1477b 27.17 (+0.03) 27.17 (+0.03)
1b947f 26.49 (-0.06) 26.49 (-0.06)
a21b55 28.17 (+0.01) 28.18 (+0.01)
4ba950 27.95 (+0.11) 27.95 (+0.11)
4e359d 25.26 (-0.00) 25.26 (-0.00)
3837fc 25.28 (+0.08) 25.28 (+0.08)
edcf4d 23.45 (+0.08) 23.45 (+0.08)
411c71 21.78 (-0.17) 21.78 (-0.17)
854348 26.14 (+0.07) 26.14 (+0.07)
7ba5c2 24.53 (-0.09) 24.53 (-0.09)
ebea29 27.00 (+0.09) 27.00 (+0.09)
22c890 24.74 (+0.02) 24.74 (+0.02)
f0b2e0 24.37 (+0.17) 24.37 (+0.17)
dec580 20.80 (-0.05) 20.81 (-0.05)
dec580 22.00 (-0.03) 22.00 (-0.03)
b1c2a6 22.78 (-0.00) 22.78 (-0.00)
931094 22.85 (+0.05) 22.85 (+0.05)
957acb 21.73 (+0.05) 21.73 (+0.05)
846532 20.67 (-0.05) 20.67 (-0.05)
d733bc 21.76 (+0.09) 21.76 (+0.09)
75ffe3 19.93 (+0.00) 19.93 (+0.00)
75ffe3 19.91 (-0.26) 19.91 (-0.26)
bf4623 26.93 (+0.02) 26.93 (+0.02)
b26c83 26.37 (-0.08) 26.37 (-0.08)
9d714a 28.74 (+0.12) 28.74 (+0.12)
6efea4 25.70 (-0.10) 25.70 (-0.10)
4071ff 28.41 (+0.07) 28.41 (+0.07)
870ba4 26.46 (-0.08) 26.46 (-0.08)
f5ca89 28.90 (+0.12) 28.90 (+0.12)
8bd565 25.78 (-0.02) 25.78 (-0.02)
dd22c8 26.34 (+0.02) 26.34 (+0.02)
299db9 25.75 (-0.07) 25.76 (-0.07)
93f3f4 27.59 (+0.12) 27.59 (+0.12)
f6e2e0 24.67 (-0.03) 24.67 (-0.03)
f6e2e0 25.31 (+0.07) 25.31 (+0.07)
f6e2e0 23.64 (-0.10) 23.64 (-0.10)
f1d960 26.28 (+0.05) 26.28 (+0.05)
4a9279 25.06 (-0.08) 25.06 (-0.08)
2e4bf7 27.31 (+0.06) 27.31 (+0.06)
ce8fbb 25.78 (-0.09) 25.78 (-0.09)
ce8fbb 28.45 (+0.02) 28.45 (+0.02)
ce8fbb 27.88 (+0.10) 27.88 (+0.10)
d1a0f2 25.30 (-0.06) 25.30 (-0.06)
ccf92d 26.95 (+0.05) 26.95 (+0.05)
02b8e0 25.77 (-0.05) 25.78 (-0.05)
7b9057 27.08 (+0.00) 27.08 (+0.00)
9cada8 27.04 (+0.02) 27.04 (+0.02)
9cada8 26.46 (+0.04) 26.46 (+0.04)
9cada8 25.47 (-0.08) 25.47 (-0.08)
a60f68 27.58 (+0.02) 27.59 (+0.02)
d19c52 27.11 (+0.04) 27.11 (+0.04)
000eb1 26.04 (-0.05) 26.04 (-0.05)
000eb1 27.33 (+0.03) 27.33 (+0.03)
f51b48 26.64 (-0.05) 26.64 (-0.05)
f51b48 28.02 (+0.02) 28.02 (+0.02)
f51b48 27.57 (+0.09) 27.57 (+0.09)
9f906f 25.34 (+0.09) 25.34 (+0.09)
0692ff 23.15 (-0.05) 23.15 (-0.05)
2caece 24.24 (+0.02) 24.24 (+0.02)
bc7d3c 23.79 (-0.07) 23.80 (-0.07)
2153d2 25.70 (+0.14) 25.70 (+0.14)
2153d2 22.63 (-0.11) 22.64 (-0.11)
2153d2 25.56 (+0.01) 25.56 (+0.01)
a1b062 25.32 (+0.08) 25.32 (+0.08)
1d9d7c 23.48 (-0.03) 23.48 (-0.03)
3569c1 24.31 (+0.00) 24.31 (+0.00)
eaff14 24.28 (-0.00) 24.28 (-0.00)
f383b4 24.35 (+0.03) 24.35 (+0.03)
f383b4 23.67 (-0.01) 23.67 (-0.01)
f383b4 24.00 (+0.02) 24.00 (+0.02)
a4256b 23.46 (+0.01) 23.46 (+0.01)
371493 23.13 (-0.06) 23.13 (-0.06)
c5c143 24.73 (+0.04) 24.73 (+0.04)
58fa4f 23.69 (+0.00) 23.69 (+0.00)
121d53 23.59 (+0.04) 23.59 (+0.04)
121d53 22.62 (-0.09) 22.63 (-0.09)
ec3a3a 24.98 (+0.01) 24.98 (+0.01)
96e783 24.74 (+0.06) 24.74 (+0.06)
567b71 23.36 (-0.02) 23.36 (-0.02)
847fc5 23.89 (+0.01) 23.89 (+0.01)
5e08b3 23.57 (-0.01) 23.57 (-0.01)
4d291d 23.75 (+0.07) 23.75 (+0.07)
4d291d 22.24 (-0.07) 22.24 (-0.07)
bf63f1 23.81 (+0.03) 23.81 (+0.03)
0a0958 23.04 (-0.06) 23.04 (-0.06)
aabca5 24.52 (+0.13) 24.52 (+0.13)
a4be54 21.64 (-0.10) 21.64 (-0.10)
a3d7ad 23.97 (+0.04) 23.98 (+0.04)
a3d7ad 23.09 (-0.13) 23.10 (-0.13)
8ba169 26.44 (+0.10) 26.44 (+0.10)
e5cc2f 24.10 (+0.06) 24.10 (+0.06)
c6b56d 22.79 (-0.00) 22.79 (-0.00)
e067cd 22.84 (-0.00) 22.84 (-0.00)
bce423 22.94 (-0.03) 22.94 (-0.03)
bce423 23.61 (+0.00) 23.61 (+0.00)
c28bfd 23.58 (+0.03) 23.58 (+0.03)
95bf19 22.84 (+0.02) 22.84 (+0.02)
95bf19 22.36 (-0.07) 22.36 (-0.07)
080752 24.10 (+0.04) 24.10 (+0.04)
23d5e2 23.18 (+0.08) 23.18 (+0.08)
23d5e2 21.43 (-0.11) 21.43 (-0.11)
8b710b 24.01 (-0.03) 24.01 (-0.03)
8c6e60 24.88 (+0.13) 24.88 (+0.13)
10dae7 22.05 (-0.01) 22.05 (-0.01)
4c4d3d 22.20 (+0.06) 22.20 (+0.06)
9f94d0 20.86 (-0.13) 20.86 (-0.13)
9f94d0 24.04 (+0.10) 24.04 (+0.10)
9f94d0 21.90 (+0.08) 21.90 (+0.08)
c700c7 20.30 (-0.05) 20.30 (-0.05)
42c6dd 21.48 (-0.00) 21.48 (-0.00)
f6bf7b 21.56 (-0.01) 21.56 (-0.01)
1137b5 21.88 (+0.01) 21.88 (+0.01)
1468c6 21.67 (-0.10) 21.67 (-0.10)
1468c6 24.11 (+0.10) 24.11 (+0.10)
c01f92 21.88 (+0.02) 21.88 (+0.02)
7ff591 21.55 (-0.02) 21.55 (-0.02)
5d4774 21.91 (+0.08) 21.91 (+0.08)
56d8c2 20.20 (-0.05) 20.20 (-0.05)
12e6f4 21.17 (-0.00) 21.17 (-0.00)
12e6f4 21.19 (+0.02) 21.19 (+0.02)
12e6f4 20.85 (+0.02) 20.85 (+0.02)
61194a 20.46 (-0.17) 20.46 (-0.17)
70ce01 24.51 (+0.05) 24.51 (+0.05)
c04c20 23.44 (-0.06) 23.44 (-0.06)
827ee1 25.01 (+0.06) 25.01 (+0.06)
22ae67 23.50 (-0.06) 23.50 (-0.06)
0f4458 25.08 (+0.11) 25.08 (+0.11)
0f4458 22.49 (-0.03) 22.50 (-0.03)
0f4458 23.28 (+11.72) 23.28 (+3.46)
83faef 1.83 5.22

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query17]

platform: rds-aurora

revision Q17/1 total_duration
41aa62 629.70 (+0.01) 629.70 (+0.01)
7b5489 626.12 (-0.09) 626.12 (-0.09)
a23b07 684.34 (+0.08) 684.34 (+0.08)
cc2d00 630.90 (+0.09) 630.90 (+0.09)
ba9df2 578.58 (+0.03) 578.59 (+0.03)
a8f354 561.69 (+0.03) 561.69 (+0.03)
7feb0d 545.88 (-0.08) 545.88 (-0.08)
982fce 590.58 (+0.09) 590.58 (+0.09)
1f151d 540.97 (-0.01) 540.97 (-0.01)
ff1a1a 547.46 (-0.10) 547.46 (-0.10)
b1477b 606.86 (+0.00) 606.86 (+0.00)
1b947f 605.88 (-0.04) 605.88 (-0.04)
a21b55 634.36 (+0.01) 634.36 (+0.01)
4ba950 627.21 (+0.11) 627.21 (+0.11)
4e359d 564.50 (-0.03) 564.50 (-0.03)
3837fc 582.81 (+0.05) 582.81 (+0.05)
edcf4d 552.69 (+0.03) 552.69 (+0.03)
411c71 538.23 (-0.09) 538.23 (-0.09)
854348 592.38 (+0.02) 592.38 (+0.02)
7ba5c2 580.20 (+0.00) 580.20 (+0.00)
ebea29 577.85 (+0.01) 577.85 (+0.01)
22c890 570.68 (+0.01) 570.68 (+0.01)
f0b2e0 563.46 (+0.05) 563.46 (+0.05)
dec580 538.07 (-0.01) 538.07 (-0.01)
dec580 544.34 (+0.02) 544.35 (+0.02)
b1c2a6 535.69 (-0.02) 535.70 (-0.02)
931094 547.71 (+0.02) 547.71 (+0.02)
957acb 535.77 (-0.02) 535.78 (-0.02)
846532 546.17 (+0.01) 546.17 (+0.01)
d733bc 542.39 (+0.01) 542.39 (+0.01)
75ffe3 538.44 (+0.02) 538.44 (+0.02)
75ffe3 528.39 (-0.14) 528.39 (-0.14)
bf4623 613.35 (-0.00) 613.35 (-0.00)
b26c83 614.53 (+0.02) 614.53 (+0.02)
9d714a 603.62 (-0.01) 603.62 (-0.01)
6efea4 609.67 (+0.01) 609.67 (+0.01)
4071ff 601.83 (-0.01) 601.83 (-0.01)
870ba4 609.92 (-0.02) 609.93 (-0.02)
f5ca89 623.79 (+0.02) 623.79 (+0.02)
8bd565 614.46 (+0.01) 614.46 (+0.01)
dd22c8 607.74 (-0.00) 607.74 (-0.00)
299db9 608.99 (+0.01) 608.99 (+0.01)
93f3f4 603.10 (-0.01) 603.10 (-0.01)
f6e2e0 606.64 (-0.02) 606.64 (-0.02)
f6e2e0 622.14 (+0.01) 622.14 (+0.01)
f6e2e0 615.71 (-0.00) 615.71 (-0.00)
f1d960 618.61 (-0.02) 618.61 (-0.02)
4a9279 628.75 (+0.02) 628.75 (+0.02)
2e4bf7 617.10 (+0.01) 617.10 (+0.01)
ce8fbb 613.71 (+0.01) 613.71 (+0.01)
ce8fbb 608.56 (-0.01) 608.56 (-0.01)
ce8fbb 611.80 (+0.00) 611.80 (+0.00)
d1a0f2 609.91 (-0.00) 609.91 (-0.00)
ccf92d 612.91 (+0.00) 612.91 (+0.00)
02b8e0 610.01 (+0.01) 610.01 (+0.01)
7b9057 606.38 (+0.01) 606.38 (+0.01)
9cada8 600.19 (-0.01) 600.19 (-0.01)
9cada8 603.90 (-0.01) 603.91 (-0.01)
9cada8 611.47 (-0.01) 611.47 (-0.01)
a60f68 618.10 (+0.02) 618.10 (+0.02)
d19c52 603.63 (-0.02) 603.63 (-0.02)
000eb1 616.87 (+0.03) 616.87 (+0.03)
000eb1 601.61 (+0.01) 601.61 (+0.01)
f51b48 597.65 (-0.01) 597.65 (-0.01)
f51b48 604.01 (+0.01) 604.01 (+0.01)
f51b48 596.53 (-0.01) 596.53 (-0.01)
9f906f 601.23 (+0.05) 601.23 (+0.05)
0692ff 570.92 (-0.02) 570.92 (-0.02)
2caece 581.56 (-0.00) 581.56 (-0.00)
bc7d3c 582.10 (+0.00) 582.10 (+0.00)
2153d2 581.00 (+0.01) 581.00 (+0.01)
2153d2 574.27 (+0.01) 574.28 (+0.01)
2153d2 569.39 (-0.01) 569.39 (-0.01)
a1b062 573.44 (+0.00) 573.44 (+0.00)
1d9d7c 571.64 (-0.01) 571.64 (-0.01)
3569c1 575.65 (-0.00) 575.65 (-0.00)
eaff14 578.33 (+0.00) 578.33 (+0.00)
f383b4 575.58 (+0.00) 575.58 (+0.00)
f383b4 574.08 (+0.01) 574.08 (+0.01)
f383b4 566.66 (+0.02) 566.67 (+0.02)
a4256b 556.61 (-0.00) 556.61 (-0.00)
371493 558.51 (-0.02) 558.51 (-0.02)
c5c143 568.59 (+0.00) 568.59 (+0.00)
58fa4f 568.26 (+0.02) 568.27 (+0.02)
121d53 554.58 (-0.02) 554.58 (-0.02)
121d53 565.62 (+0.00) 565.63 (+0.00)
ec3a3a 563.90 (-0.02) 563.90 (-0.02)
96e783 573.29 (+0.02) 573.29 (+0.02)
567b71 562.67 (+0.00) 562.68 (+0.00)
847fc5 561.13 (-0.01) 561.13 (-0.01)
5e08b3 565.84 (+0.03) 565.84 (+0.03)
4d291d 548.27 (-0.01) 548.27 (-0.01)
4d291d 551.66 (-0.02) 551.66 (-0.02)
bf63f1 564.13 (+0.02) 564.13 (+0.02)
0a0958 550.47 (+0.00) 550.48 (+0.00)
aabca5 549.96 (-0.01) 549.96 (-0.01)
a4be54 554.81 (+0.01) 554.81 (+0.01)
a3d7ad 547.18 (-0.02) 547.18 (-0.02)
a3d7ad 557.79 (+0.03) 557.80 (+0.03)
8ba169 543.16 (-0.01) 543.16 (-0.01)
e5cc2f 548.51 (-0.00) 548.51 (-0.00)
c6b56d 550.28 (+0.01) 550.28 (+0.01)
e067cd 544.23 (-0.00) 544.23 (-0.00)
bce423 544.83 (+0.08) 544.83 (+0.08)
bce423 504.27 (-0.08) 504.27 (-0.08)
c28bfd 548.74 (+0.01) 548.74 (+0.01)
95bf19 544.70 (+3.41) 544.70 (+3.41)
95bf19 123.40 (-0.14) 123.40 (-0.14)
080752 143.95 (-0.66) 143.95 (-0.66)
23d5e2 418.01 (-0.18) 418.01 (-0.18)
23d5e2 509.49 (-0.06) 509.50 (-0.06)
8b710b 541.32 (+2.74) 541.32 (+2.74)
8c6e60 144.79 (+0.24) 144.79 (+0.24)
10dae7 116.85 (+0.00) 116.85 (+0.00)
4c4d3d 116.54 (+0.00) 116.54 (+0.00)
9f94d0 116.11 (+0.02) 116.11 (+0.02)
9f94d0 113.94 (-0.03) 113.94 (-0.03)
9f94d0 117.41 (+0.07) 117.41 (+0.07)
c700c7 109.51 (-0.02) 109.51 (-0.02)
42c6dd 111.23 (-0.02) 111.23 (-0.02)
f6bf7b 113.37 (+0.04) 113.37 (+0.04)
1137b5 108.57 (-0.01) 108.57 (-0.01)
1468c6 110.08 (-0.04) 110.08 (-0.04)
1468c6 114.17 (+0.03) 114.17 (+0.03)
c01f92 110.85 (+0.02) 110.85 (+0.02)
7ff591 108.66 (-0.03) 108.67 (-0.03)
5d4774 111.56 (-0.78) 111.56 (-0.78)
56d8c2 515.62 (-0.00) 515.63 (-0.00)
12e6f4 517.93 (+0.02) 517.93 (+0.02)
12e6f4 509.84 (-0.02) 509.85 (-0.02)
12e6f4 520.67 (+0.00) 520.67 (+0.00)
61194a 518.71 (-0.07) 518.71 (-0.07)
70ce01 559.23 (+0.01) 559.23 (+0.01)
c04c20 554.76 (-0.02) 554.76 (-0.02)
827ee1 568.92 (+0.00) 568.93 (+0.00)
22ae67 567.21 (+0.02) 567.21 (+0.02)
0f4458 555.11 (-0.02) 555.11 (-0.02)
0f4458 566.26 (-0.00) 566.27 (-0.00)
0f4458 567.27 (+218.14) 567.27 (+64.44)
83faef 2.59 8.67

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query18]

platform: rds-aurora

revision Q18/1 total_duration
41aa62 732.03 (+0.00) 732.03 (+0.00)
7b5489 731.65 (+0.36) 731.65 (+0.36)
a23b07 537.21 (+0.09) 537.21 (+0.09)
cc2d00 492.52 (-0.29) 492.53 (-0.29)
ba9df2 694.20 (+0.79) 694.21 (+0.79)
a8f354 387.56 (-0.36) 387.57 (-0.36)
7feb0d 601.00 (+0.44) 601.00 (+0.44)
982fce 417.23 (-0.27) 417.23 (-0.27)
1f151d 570.17 (+0.02) 570.17 (+0.02)
ff1a1a 560.96 (+0.22) 560.96 (+0.22)
b1477b 460.18 (+0.05) 460.18 (+0.05)
1b947f 437.93 (-0.09) 437.93 (-0.09)
a21b55 479.20 (-0.00) 479.20 (-0.00)
4ba950 481.15 (+0.14) 481.15 (+0.14)
4e359d 421.69 (-0.00) 421.70 (-0.00)
3837fc 423.07 (-0.26) 423.07 (-0.26)
edcf4d 568.33 (+0.51) 568.33 (+0.51)
411c71 377.37 (-0.07) 377.37 (-0.07)
854348 405.47 (-0.35) 405.48 (-0.35)
7ba5c2 620.46 (+0.04) 620.46 (+0.04)
ebea29 598.03 (+0.53) 598.03 (+0.53)
22c890 390.54 (-0.33) 390.54 (-0.33)
f0b2e0 580.44 (+0.06) 580.44 (+0.06)
dec580 545.30 (+0.00) 545.30 (+0.00)
dec580 544.10 (-0.02) 544.10 (-0.02)
b1c2a6 555.93 (+0.01) 555.94 (+0.01)
931094 550.24 (+0.04) 550.24 (+0.04)
957acb 531.13 (+0.50) 531.13 (+0.50)
846532 354.52 (-0.37) 354.52 (-0.37)
d733bc 564.15 (+0.06) 564.15 (+0.06)
75ffe3 534.33 (-0.01) 534.33 (-0.01)
75ffe3 538.09 (-0.22) 538.09 (-0.22)
bf4623 690.27 (+0.03) 690.28 (+0.03)
b26c83 672.17 (+0.02) 672.17 (+0.02)
9d714a 659.36 (+0.01) 659.37 (+0.01)
6efea4 650.41 (-0.01) 650.41 (-0.01)
4071ff 656.60 (+0.03) 656.60 (+0.03)
870ba4 637.46 (-0.02) 637.47 (-0.02)
f5ca89 651.26 (-0.02) 651.26 (-0.02)
8bd565 661.68 (+0.00) 661.68 (+0.00)
dd22c8 661.24 (+0.02) 661.24 (+0.02)
299db9 648.90 (-0.00) 648.90 (-0.00)
93f3f4 651.67 (+0.50) 651.67 (+0.50)
f6e2e0 435.74 (-0.00) 435.74 (-0.00)
f6e2e0 436.01 (-0.33) 436.01 (-0.33)
f6e2e0 649.95 (+0.46) 649.95 (+0.46)
f1d960 443.90 (-0.34) 443.90 (-0.34)
4a9279 672.75 (-0.00) 672.76 (-0.00)
2e4bf7 675.81 (+0.49) 675.81 (+0.49)
ce8fbb 454.47 (-0.31) 454.47 (-0.31)
ce8fbb 662.50 (-0.00) 662.50 (-0.00)
ce8fbb 665.13 (+0.51) 665.13 (+0.51)
d1a0f2 441.56 (-0.34) 441.56 (-0.34)
ccf92d 669.60 (-0.02) 669.60 (-0.02)
02b8e0 681.94 (+0.05) 681.94 (+0.05)
7b9057 649.84 (-0.01) 649.84 (-0.01)
9cada8 656.19 (-0.01) 656.19 (-0.01)
9cada8 661.82 (+0.02) 661.82 (+0.02)
9cada8 648.38 (-0.04) 648.38 (-0.04)
a60f68 675.20 (+0.03) 675.20 (+0.03)
d19c52 656.21 (+0.01) 656.21 (+0.01)
000eb1 650.30 (-0.01) 650.30 (-0.01)
000eb1 658.10 (-0.04) 658.10 (-0.04)
f51b48 687.58 (-0.04) 687.58 (-0.04)
f51b48 712.62 (+0.09) 712.62 (+0.09)
f51b48 652.12 (+0.02) 652.12 (+0.02)
9f906f 637.03 (+0.01) 637.04 (+0.01)
0692ff 633.35 (+0.59) 633.35 (+0.59)
2caece 398.94 (-0.34) 398.94 (-0.34)
bc7d3c 603.97 (+0.01) 603.97 (+0.01)
2153d2 595.95 (-0.01) 595.95 (-0.01)
2153d2 600.99 (+0.49) 600.99 (+0.49)
2153d2 402.72 (-0.01) 402.72 (-0.01)
a1b062 407.68 (-0.33) 407.68 (-0.33)
1d9d7c 606.74 (-0.01) 606.74 (-0.01)
3569c1 610.67 (+0.52) 610.67 (+0.52)
eaff14 401.74 (-0.35) 401.74 (-0.35)
f383b4 621.32 (+0.04) 621.32 (+0.04)
f383b4 597.29 (-0.02) 597.29 (-0.02)
f383b4 607.65 (+0.00) 607.65 (+0.00)
a4256b 606.24 (-0.01) 606.24 (-0.01)
371493 613.93 (+0.03) 613.93 (+0.03)
c5c143 593.60 (+0.02) 593.60 (+0.02)
58fa4f 583.42 (+0.02) 583.42 (+0.02)
121d53 574.42 (+0.43) 574.42 (+0.43)
121d53 402.95 (+0.02) 402.95 (+0.02)
ec3a3a 395.07 (-0.01) 395.07 (-0.01)
96e783 397.42 (+0.02) 397.42 (+0.02)
567b71 389.64 (-0.00) 389.64 (-0.00)
847fc5 390.52 (+0.01) 390.52 (+0.01)
5e08b3 385.37 (-0.32) 385.37 (-0.32)
4d291d 569.31 (-0.02) 569.31 (-0.02)
4d291d 579.20 (-0.01) 579.20 (-0.01)
bf63f1 582.72 (+0.53) 582.73 (+0.53)
0a0958 380.95 (-0.01) 380.95 (-0.01)
aabca5 386.41 (-0.32) 386.41 (-0.32)
a4be54 570.10 (+0.00) 570.10 (+0.00)
a3d7ad 568.72 (-0.00) 568.72 (-0.00)
a3d7ad 571.14 (+0.49) 571.15 (+0.49)
8ba169 382.29 (-0.00) 382.29 (-0.00)
e5cc2f 383.20 (-0.34) 383.20 (-0.34)
c6b56d 577.83 (+0.01) 577.83 (+0.01)
e067cd 572.49 (+0.02) 572.49 (+0.02)
bce423 563.35 (+0.03) 563.35 (+0.03)
bce423 547.49 (-0.02) 547.49 (-0.02)
c28bfd 560.10 (+0.46) 560.10 (+0.46)
95bf19 382.73 (+0.03) 382.73 (+0.03)
95bf19 372.48 (-0.45) 372.48 (-0.45)
080752 675.85 (-0.02) 675.85 (-0.02)
23d5e2 692.58 (-0.01) 692.58 (-0.01)
23d5e2 698.17 (+0.81) 698.17 (+0.81)
8b710b 386.65 (-0.43) 386.65 (-0.43)
8c6e60 681.91 (+0.04) 681.91 (+0.04)
10dae7 655.56 (+0.02) 655.56 (+0.02)
4c4d3d 644.56 (-0.05) 644.56 (-0.05)
9f94d0 675.62 (+0.81) 675.62 (+0.81)
9f94d0 373.00 (+0.02) 373.00 (+0.02)
9f94d0 364.48 (-0.40) 364.48 (-0.40)
c700c7 608.68 (-0.07) 608.68 (-0.07)
42c6dd 654.23 (+0.15) 654.23 (+0.15)
f6bf7b 570.09 (+0.61) 570.09 (+0.61)
1137b5 353.66 (-0.02) 353.66 (-0.02)
1468c6 359.26 (-0.40) 359.26 (-0.40)
1468c6 597.04 (+0.17) 597.04 (+0.17)
c01f92 509.80 (-0.16) 509.80 (-0.16)
7ff591 604.47 (-0.00) 604.47 (-0.00)
5d4774 605.87 (+0.64) 605.87 (+0.64)
56d8c2 368.49 (-0.00) 368.49 (-0.00)
12e6f4 369.57 (-0.32) 369.57 (-0.32)
12e6f4 540.21 (-0.06) 540.21 (-0.06)
12e6f4 576.73 (+0.56) 576.73 (+0.56)
61194a 370.19 (-0.40) 370.19 (-0.40)
70ce01 617.04 (+0.00) 617.04 (+0.00)
c04c20 613.98 (-0.01) 613.98 (-0.01)
827ee1 620.08 (-0.04) 620.08 (-0.04)
22ae67 643.14 (+0.02) 643.14 (+0.02)
0f4458 630.17 (+0.02) 630.17 (+0.02)
0f4458 614.93 (+0.01) 614.93 (+0.01)
0f4458 611.05 (+28.95) 611.06 (+9.58)
83faef 20.40 57.77

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query19]

platform: rds-aurora

revision Q19/1 total_duration
41aa62 69.10 (+0.08) 69.10 (+0.08)
7b5489 64.00 (-0.15) 64.00 (-0.15)
a23b07 75.49 (+0.18) 75.49 (+0.18)
cc2d00 64.04 (+0.09) 64.05 (+0.09)
ba9df2 58.86 (+0.22) 58.86 (+0.22)
a8f354 48.34 (-0.05) 48.34 (-0.05)
7feb0d 50.92 (-0.01) 50.92 (-0.01)
982fce 51.59 (+0.03) 51.59 (+0.03)
1f151d 49.91 (+0.07) 49.91 (+0.07)
ff1a1a 46.44 (-0.26) 46.44 (-0.26)
b1477b 62.40 (+0.11) 62.40 (+0.11)
1b947f 56.39 (-0.11) 56.39 (-0.11)
a21b55 63.51 (+0.05) 63.51 (+0.05)
4ba950 60.31 (+0.16) 60.31 (+0.16)
4e359d 51.94 (-0.08) 51.94 (-0.08)
3837fc 56.24 (+0.18) 56.24 (+0.18)
edcf4d 47.69 (+0.05) 47.69 (+0.05)
411c71 45.24 (-0.07) 45.24 (-0.07)
854348 48.87 (-0.03) 48.87 (-0.03)
7ba5c2 50.22 (+0.01) 50.23 (+0.01)
ebea29 49.88 (-0.05) 49.88 (-0.05)
22c890 52.52 (-0.01) 52.52 (-0.01)
f0b2e0 53.27 (+0.14) 53.27 (+0.14)
dec580 46.89 (-0.00) 46.89 (-0.00)
dec580 47.02 (+0.00) 47.03 (+0.00)
b1c2a6 46.99 (+0.02) 46.99 (+0.02)
931094 46.17 (+0.04) 46.17 (+0.04)
957acb 44.45 (-0.07) 44.45 (-0.07)
846532 47.86 (+0.01) 47.86 (+0.01)
d733bc 47.35 (+0.03) 47.35 (+0.03)
75ffe3 46.14 (+0.01) 46.14 (+0.01)
75ffe3 45.82 (-0.15) 45.82 (-0.15)
bf4623 53.71 (-0.06) 53.71 (-0.06)
b26c83 57.39 (-0.01) 57.39 (-0.01)
9d714a 57.99 (+0.11) 57.99 (+0.11)
6efea4 52.46 (-0.07) 52.46 (-0.07)
4071ff 56.57 (-0.01) 56.57 (-0.01)
870ba4 57.02 (+0.00) 57.02 (+0.00)
f5ca89 56.98 (-0.00) 56.98 (-0.00)
8bd565 57.06 (+0.00) 57.06 (+0.00)
dd22c8 56.83 (-0.02) 56.83 (-0.02)
299db9 58.05 (+0.01) 58.05 (+0.01)
93f3f4 57.74 (+0.00) 57.74 (+0.00)
f6e2e0 57.47 (+0.11) 57.47 (+0.11)
f6e2e0 51.74 (-0.11) 51.74 (-0.11)
f6e2e0 57.99 (-0.03) 57.99 (-0.03)
f1d960 59.85 (+0.02) 59.85 (+0.02)
4a9279 58.88 (+0.02) 58.88 (+0.02)
2e4bf7 57.85 (+0.03) 57.85 (+0.03)
ce8fbb 56.42 (+0.03) 56.42 (+0.03)
ce8fbb 54.53 (+0.00) 54.53 (+0.00)
ce8fbb 54.35 (+0.01) 54.35 (+0.01)
d1a0f2 53.78 (+0.02) 53.78 (+0.02)
ccf92d 52.98 (-0.07) 52.98 (-0.07)
02b8e0 57.12 (-0.00) 57.12 (-0.00)
7b9057 57.18 (+0.06) 57.19 (+0.06)
9cada8 53.91 (-0.04) 53.91 (-0.04)
9cada8 56.04 (-0.04) 56.04 (-0.04)
9cada8 58.40 (+0.03) 58.40 (+0.03)
a60f68 56.45 (+0.03) 56.45 (+0.03)
d19c52 55.02 (-0.04) 55.02 (-0.04)
000eb1 57.11 (+0.01) 57.12 (+0.01)
000eb1 56.69 (+0.00) 56.69 (+0.00)
f51b48 56.52 (+0.06) 56.52 (+0.06)
f51b48 53.24 (-0.09) 53.24 (-0.09)
f51b48 58.32 (+0.09) 58.32 (+0.09)
9f906f 53.27 (+0.02) 53.27 (+0.02)
0692ff 52.36 (+0.00) 52.36 (+0.00)
2caece 52.31 (+0.05) 52.32 (+0.05)
bc7d3c 49.87 (+0.01) 49.87 (+0.01)
2153d2 49.44 (-0.01) 49.44 (-0.01)
2153d2 49.78 (+0.01) 49.78 (+0.01)
2153d2 49.41 (+0.00) 49.41 (+0.00)
a1b062 49.27 (-0.02) 49.27 (-0.02)
1d9d7c 50.28 (+0.04) 50.28 (+0.04)
3569c1 48.21 (-0.03) 48.21 (-0.03)
eaff14 49.90 (-0.02) 49.90 (-0.02)
f383b4 51.04 (+0.07) 51.05 (+0.07)
f383b4 47.54 (-0.07) 47.54 (-0.07)
f383b4 51.26 (+0.00) 51.26 (+0.00)
a4256b 51.22 (-0.07) 51.22 (-0.07)
371493 55.24 (+0.06) 55.25 (+0.06)
c5c143 52.07 (+0.04) 52.07 (+0.04)
58fa4f 50.13 (-0.03) 50.13 (-0.03)
121d53 51.55 (-0.03) 51.55 (-0.03)
121d53 53.41 (+0.01) 53.41 (+0.01)
ec3a3a 52.89 (+0.05) 52.89 (+0.05)
96e783 50.30 (-0.02) 50.30 (-0.02)
567b71 51.49 (+0.00) 51.49 (+0.00)
847fc5 51.31 (-0.05) 51.31 (-0.05)
5e08b3 53.75 (+0.06) 53.75 (+0.06)
4d291d 50.70 (+0.03) 50.70 (+0.03)
4d291d 49.25 (-0.03) 49.25 (-0.03)
bf63f1 50.95 (+0.09) 50.95 (+0.09)
0a0958 46.66 (-0.03) 46.66 (-0.03)
aabca5 48.13 (-0.03) 48.13 (-0.03)
a4be54 49.68 (+0.01) 49.68 (+0.01)
a3d7ad 49.18 (-0.02) 49.18 (-0.02)
a3d7ad 50.08 (-0.00) 50.08 (-0.00)
8ba169 50.32 (-0.00) 50.32 (-0.00)
e5cc2f 50.43 (-0.01) 50.43 (-0.01)
c6b56d 50.98 (+0.03) 50.98 (+0.03)
e067cd 49.39 (-0.01) 49.39 (-0.01)
bce423 49.73 (+0.06) 49.73 (+0.06)
bce423 46.90 (-0.03) 46.90 (-0.03)
c28bfd 48.13 (-0.00) 48.14 (-0.00)
95bf19 48.28 (+0.00) 48.28 (+0.00)
95bf19 48.05 (-0.03) 48.05 (-0.03)
080752 49.67 (-0.07) 49.67 (-0.07)
23d5e2 53.38 (+0.09) 53.38 (+0.09)
23d5e2 49.10 (+0.04) 49.10 (+0.04)
8b710b 47.05 (-0.03) 47.05 (-0.03)
8c6e60 48.73 (-0.04) 48.73 (-0.04)
10dae7 50.50 (+0.07) 50.51 (+0.07)
4c4d3d 47.24 (-0.10) 47.25 (-0.10)
9f94d0 52.45 (+0.05) 52.45 (+0.05)
9f94d0 50.08 (+0.10) 50.08 (+0.10)
9f94d0 45.64 (-0.02) 45.64 (-0.02)
c700c7 46.73 (-0.01) 46.73 (-0.01)
42c6dd 47.00 (+0.07) 47.00 (+0.07)
f6bf7b 43.95 (-0.09) 43.95 (-0.09)
1137b5 48.15 (-0.01) 48.15 (-0.01)
1468c6 48.56 (+0.05) 48.57 (+0.05)
1468c6 46.40 (+0.02) 46.40 (+0.02)
c01f92 45.46 (-0.01) 45.46 (-0.01)
7ff591 45.93 (-0.02) 45.93 (-0.02)
5d4774 46.64 (-0.04) 46.64 (-0.04)
56d8c2 48.64 (+0.03) 48.64 (+0.03)
12e6f4 47.39 (+0.07) 47.39 (+0.07)
12e6f4 44.20 (-0.06) 44.20 (-0.06)
12e6f4 46.93 (-0.07) 46.93 (-0.07)
61194a 50.56 (-0.04) 50.56 (-0.04)
70ce01 52.52 (-0.01) 52.52 (-0.01)
c04c20 52.96 (+0.02) 52.96 (+0.02)
827ee1 51.84 (-0.07) 51.85 (-0.07)
22ae67 55.72 (+0.00) 55.72 (+0.00)
0f4458 55.53 (+0.09) 55.53 (+0.09)
0f4458 50.77 (-0.04) 50.77 (-0.04)
0f4458 52.79 (+135.83) 52.79 (+52.67)
83faef 0.39 0.98

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query20]

platform: rds-aurora

revision Q20/1 total_duration
41aa62 3310.09 (+0.02) 3310.09 (+0.02)
7b5489 3246.10 (-0.05) 3246.10 (-0.05)
a23b07 3403.23 (+0.05) 3403.23 (+0.05)
cc2d00 3237.12 (+0.06) 3237.12 (+0.06)
ba9df2 3042.57 (+0.01) 3042.58 (+0.01)
a8f354 3022.21 (+0.00) 3022.21 (+0.00)
7feb0d 3011.04 (-0.05) 3011.04 (-0.05)
982fce 3160.55 (+0.06) 3160.55 (+0.06)
1f151d 2982.67 (+0.00) 2982.67 (+0.00)
ff1a1a 2969.74 (-0.11) 2969.74 (-0.11)
b1477b 3328.58 (+0.02) 3328.58 (+0.02)
1b947f 3254.07 (+0.00) 3254.07 (+0.00)
a21b55 3249.63 (-0.02) 3249.63 (-0.02)
4ba950 3299.53 (+0.09) 3299.54 (+0.09)
4e359d 3026.48 (-0.00) 3026.48 (-0.00)
3837fc 3033.58 (+0.00) 3033.58 (+0.00)
edcf4d 3018.50 (+0.01) 3018.50 (+0.01)
411c71 2974.68 (-0.05) 2974.68 (-0.05)
854348 3127.53 (+0.01) 3127.53 (+0.01)
7ba5c2 3100.14 (+0.01) 3100.14 (+0.01)
ebea29 3063.39 (-0.01) 3063.39 (-0.01)
22c890 3083.65 (+0.01) 3083.65 (+0.01)
f0b2e0 3066.17 (+0.04) 3066.18 (+0.04)
dec580 2941.77 (-0.00) 2941.77 (-0.00)
dec580 2949.58 (-0.00) 2949.58 (-0.00)
b1c2a6 2964.25 (+0.00) 2964.25 (+0.00)
931094 2953.72 (-0.01) 2953.72 (-0.01)
957acb 2972.92 (+0.01) 2972.92 (+0.01)
846532 2935.19 (+0.00) 2935.19 (+0.00)
d733bc 2930.70 (-0.00) 2930.71 (-0.00)
75ffe3 2934.14 (+0.01) 2934.14 (+0.01)
75ffe3 2894.20 (-0.10) 2894.20 (-0.10)
bf4623 3209.15 (-0.00) 3209.15 (-0.00)
b26c83 3224.06 (-0.00) 3224.06 (-0.00)
9d714a 3230.20 (+0.00) 3230.20 (+0.00)
6efea4 3225.01 (+0.01) 3225.01 (+0.01)
4071ff 3208.92 (-0.00) 3208.92 (-0.00)
870ba4 3216.26 (-0.00) 3216.26 (-0.00)
f5ca89 3217.80 (-0.00) 3217.81 (-0.00)
8bd565 3233.03 (+0.00) 3233.03 (+0.00)
dd22c8 3230.46 (+0.00) 3230.46 (+0.00)
299db9 3222.97 (-0.00) 3222.97 (-0.00)
93f3f4 3236.04 (-0.00) 3236.04 (-0.00)
f6e2e0 3237.60 (-0.01) 3237.60 (-0.01)
f6e2e0 3256.16 (+0.00) 3256.16 (+0.00)
f6e2e0 3245.09 (+0.00) 3245.09 (+0.00)
f1d960 3239.88 (-0.01) 3239.88 (-0.01)
4a9279 3273.67 (+0.00) 3273.67 (+0.00)
2e4bf7 3273.52 (+0.02) 3273.52 (+0.02)
ce8fbb 3215.23 (+0.00) 3215.23 (+0.00)
ce8fbb 3203.89 (-0.00) 3203.89 (-0.00)
ce8fbb 3219.30 (-0.01) 3219.30 (-0.01)
d1a0f2 3247.51 (-0.00) 3247.51 (-0.00)
ccf92d 3249.21 (+0.01) 3249.22 (+0.01)
02b8e0 3227.86 (+0.00) 3227.86 (+0.00)
7b9057 3219.00 (+0.01) 3219.00 (+0.01)
9cada8 3199.16 (-0.00) 3199.16 (-0.00)
9cada8 3214.38 (+0.00) 3214.38 (+0.00)
9cada8 3213.49 (-0.01) 3213.49 (-0.01)
a60f68 3241.01 (+0.02) 3241.01 (+0.02)
d19c52 3176.61 (-0.02) 3176.62 (-0.02)
000eb1 3228.48 (+0.01) 3228.48 (+0.01)
000eb1 3203.24 (-0.00) 3203.24 (-0.00)
f51b48 3206.49 (+0.01) 3206.49 (+0.01)
f51b48 3178.21 (+0.01) 3178.21 (+0.01)
f51b48 3162.34 (+0.00) 3162.34 (+0.00)
9f906f 3146.89 (+0.02) 3146.89 (+0.02)
0692ff 3081.01 (+0.00) 3081.01 (+0.00)
2caece 3080.07 (-0.01) 3080.07 (-0.01)
bc7d3c 3111.52 (+0.01) 3111.52 (+0.01)
2153d2 3078.08 (+0.00) 3078.08 (+0.00)
2153d2 3069.69 (-0.00) 3069.69 (-0.00)
2153d2 3070.06 (+0.00) 3070.06 (+0.00)
a1b062 3060.51 (-0.01) 3060.51 (-0.01)
1d9d7c 3080.60 (+0.01) 3080.60 (+0.01)
3569c1 3043.87 (-0.00) 3043.87 (-0.00)
eaff14 3052.62 (+0.00) 3052.62 (+0.00)
f383b4 3045.50 (-0.00) 3045.50 (-0.00)
f383b4 3052.17 (+0.02) 3052.17 (+0.02)
f383b4 3002.09 (-0.01) 3002.09 (-0.01)
a4256b 3018.61 (+0.00) 3018.61 (+0.00)
371493 3017.72 (-0.00) 3017.72 (-0.00)
c5c143 3030.97 (-0.00) 3030.97 (-0.00)
58fa4f 3034.62 (+0.02) 3034.62 (+0.02)
121d53 2986.41 (-0.00) 2986.41 (-0.00)
121d53 2996.59 (-0.01) 2996.59 (-0.01)
ec3a3a 3013.28 (-0.01) 3013.28 (-0.01)
96e783 3038.99 (+0.01) 3038.99 (+0.01)
567b71 3011.12 (-0.00) 3011.12 (-0.00)
847fc5 3023.51 (+0.00) 3023.51 (+0.00)
5e08b3 3017.98 (+0.02) 3017.99 (+0.02)
4d291d 2955.76 (+0.00) 2955.76 (+0.00)
4d291d 2947.67 (-0.01) 2947.67 (-0.01)
bf63f1 2983.00 (+0.01) 2983.00 (+0.01)
0a0958 2962.77 (+0.00) 2962.77 (+0.00)
aabca5 2959.21 (+0.00) 2959.21 (+0.00)
a4be54 2958.86 (+0.00) 2958.86 (+0.00)
a3d7ad 2944.40 (-0.00) 2944.40 (-0.00)
a3d7ad 2951.94 (+0.00) 2951.94 (+0.00)
8ba169 2944.71 (-0.00) 2944.71 (-0.00)
e5cc2f 2955.45 (+0.00) 2955.45 (+0.00)
c6b56d 2946.97 (+0.00) 2946.97 (+0.00)
e067cd 2942.46 (+0.03) 2942.46 (+0.03)
bce423 2858.11 (-0.01) 2858.11 (-0.01)
bce423 2876.06 (-0.02) 2876.06 (-0.02)
c28bfd 2922.25 (+0.04) 2922.25 (+0.04)
95bf19 2823.26 (-0.01) 2823.26 (-0.01)
95bf19 2839.88 (+0.02) 2839.88 (+0.02)
080752 2784.39 (+0.02) 2784.39 (+0.02)
23d5e2 2727.32 (+0.01) 2727.32 (+0.01)
23d5e2 2699.38 (-0.01) 2699.38 (-0.01)
8b710b 2737.06 (+0.01) 2737.06 (+0.01)
8c6e60 2710.77 (+0.01) 2710.78 (+0.01)
10dae7 2687.49 (+0.00) 2687.49 (+0.00)
4c4d3d 2687.22 (-0.00) 2687.22 (-0.00)
9f94d0 2688.25 (-0.00) 2688.25 (-0.00)
9f94d0 2700.46 (+0.04) 2700.46 (+0.04)
9f94d0 2605.32 (+0.00) 2605.32 (+0.00)
c700c7 2603.46 (+0.00) 2603.47 (+0.00)
42c6dd 2599.58 (-0.00) 2599.58 (-0.00)
f6bf7b 2602.79 (-0.00) 2602.79 (-0.00)
1137b5 2603.58 (+0.01) 2603.58 (+0.01)
1468c6 2583.02 (+0.00) 2583.02 (+0.00)
1468c6 2576.85 (-0.01) 2576.85 (-0.01)
c01f92 2603.53 (-0.00) 2603.53 (-0.00)
7ff591 2604.61 (-0.00) 2604.61 (-0.00)
5d4774 2608.49 (-0.08) 2608.49 (-0.08)
56d8c2 2832.53 (-0.00) 2832.53 (-0.00)
12e6f4 2834.30 (+0.00) 2834.30 (+0.00)
12e6f4 2820.66 (-0.01) 2820.66 (-0.01)
12e6f4 2841.09 (-0.00) 2841.09 (-0.00)
61194a 2850.38 (-0.06) 2850.38 (-0.06)
70ce01 3021.83 (+0.00) 3021.83 (+0.00)
c04c20 3008.08 (-0.01) 3008.08 (-0.01)
827ee1 3035.62 (+0.01) 3035.62 (+0.01)
22ae67 2999.88 (-0.00) 2999.88 (-0.00)
0f4458 3013.72 (+0.00) 3013.72 (+0.00)
0f4458 3007.73 (-0.01) 3007.74 (-0.01)
0f4458 3024.83 (+3159.06) 3024.83 (+1468.09)
83faef 0.96 2.06

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query21]

platform: rds-aurora

revision Q21/1 total_duration
41aa62 964.40 (+0.02) 964.40 (+0.02)
7b5489 942.01 (-0.07) 942.01 (-0.07)
a23b07 1010.11 (+0.04) 1010.11 (+0.04)
cc2d00 974.28 (+0.10) 974.28 (+0.10)
ba9df2 887.53 (+0.06) 887.53 (+0.06)
a8f354 840.38 (+0.01) 840.38 (+0.01)
7feb0d 829.45 (-0.05) 829.45 (-0.05)
982fce 870.56 (+0.01) 870.56 (+0.01)
1f151d 863.82 (+0.06) 863.82 (+0.06)
ff1a1a 814.89 (-0.12) 814.89 (-0.12)
b1477b 930.65 (-0.01) 930.66 (-0.01)
1b947f 944.31 (-0.02) 944.31 (-0.02)
a21b55 967.23 (+0.02) 967.23 (+0.02)
4ba950 947.26 (+0.10) 947.26 (+0.10)
4e359d 864.10 (+0.00) 864.10 (+0.00)
3837fc 860.64 (+0.05) 860.65 (+0.05)
edcf4d 818.27 (+0.02) 818.28 (+0.02)
411c71 806.03 (-0.07) 806.03 (-0.07)
854348 863.69 (+0.03) 863.69 (+0.03)
7ba5c2 837.92 (-0.01) 837.92 (-0.01)
ebea29 843.22 (-0.01) 843.22 (-0.01)
22c890 854.71 (+0.02) 854.71 (+0.02)
f0b2e0 834.53 (+0.03) 834.54 (+0.03)
dec580 808.57 (+0.02) 808.57 (+0.02)
dec580 796.26 (-0.01) 796.26 (-0.01)
b1c2a6 805.93 (-0.01) 805.93 (-0.01)
931094 817.52 (+0.03) 817.52 (+0.03)
957acb 794.58 (+0.00) 794.58 (+0.00)
846532 791.98 (+0.01) 791.99 (+0.01)
d733bc 786.09 (-0.00) 786.09 (-0.00)
75ffe3 789.82 (+0.01) 789.82 (+0.01)
75ffe3 780.71 (-0.15) 780.71 (-0.15)
bf4623 913.54 (+0.03) 913.54 (+0.03)
b26c83 888.78 (-0.01) 888.78 (-0.01)
9d714a 898.65 (-0.01) 898.66 (-0.01)
6efea4 903.99 (+0.00) 903.99 (+0.00)
4071ff 903.96 (-0.02) 903.96 (-0.02)
870ba4 919.18 (-0.00) 919.18 (-0.00)
f5ca89 921.57 (+0.00) 921.58 (+0.00)
8bd565 919.63 (+0.03) 919.63 (+0.03)
dd22c8 891.38 (-0.02) 891.38 (-0.02)
299db9 909.94 (+0.02) 909.94 (+0.02)
93f3f4 896.34 (-0.03) 896.34 (-0.03)
f6e2e0 927.88 (+0.01) 927.88 (+0.01)
f6e2e0 918.79 (+0.04) 918.79 (+0.04)
f6e2e0 887.24 (-0.02) 887.24 (-0.02)
f1d960 907.71 (-0.01) 907.71 (-0.01)
4a9279 919.87 (+0.02) 919.87 (+0.02)
2e4bf7 905.30 (+0.01) 905.30 (+0.01)
ce8fbb 892.79 (-0.00) 892.79 (-0.00)
ce8fbb 894.57 (-0.00) 894.57 (-0.00)
ce8fbb 898.11 (-0.01) 898.11 (-0.01)
d1a0f2 906.21 (+0.00) 906.21 (+0.00)
ccf92d 903.82 (+0.01) 903.82 (+0.01)
02b8e0 897.87 (+0.00) 897.87 (+0.00)
7b9057 894.64 (+0.01) 894.64 (+0.01)
9cada8 888.89 (-0.02) 888.89 (-0.02)
9cada8 904.11 (+0.01) 904.11 (+0.01)
9cada8 897.40 (-0.01) 897.40 (-0.01)
a60f68 905.99 (+0.02) 905.99 (+0.02)
d19c52 887.02 (-0.01) 887.03 (-0.01)
000eb1 895.42 (+0.01) 895.42 (+0.01)
000eb1 883.68 (-0.01) 883.68 (-0.01)
f51b48 891.34 (-0.01) 891.34 (-0.01)
f51b48 899.58 (+0.02) 899.58 (+0.02)
f51b48 881.65 (-0.00) 881.65 (-0.00)
9f906f 884.10 (+0.05) 884.10 (+0.05)
0692ff 842.84 (-0.01) 842.84 (-0.01)
2caece 853.21 (-0.02) 853.22 (-0.02)
bc7d3c 866.64 (+0.00) 866.64 (+0.00)
2153d2 862.48 (+0.02) 862.48 (+0.02)
2153d2 848.29 (-0.00) 848.29 (-0.00)
2153d2 852.50 (+0.01) 852.50 (+0.01)
a1b062 842.59 (-0.01) 842.59 (-0.01)
1d9d7c 852.28 (-0.00) 852.28 (-0.00)
3569c1 852.39 (+0.01) 852.39 (+0.01)
eaff14 843.50 (+0.00) 843.50 (+0.00)
f383b4 841.24 (-0.01) 841.24 (-0.01)
f383b4 845.50 (+0.02) 845.50 (+0.02)
f383b4 829.70 (+0.00) 829.70 (+0.00)
a4256b 828.25 (-0.01) 828.25 (-0.01)
371493 832.85 (+0.01) 832.85 (+0.01)
c5c143 822.46 (-0.01) 822.47 (-0.01)
58fa4f 834.53 (+0.01) 834.53 (+0.01)
121d53 822.58 (+0.00) 822.58 (+0.00)
121d53 818.96 (+0.00) 818.96 (+0.00)
ec3a3a 817.69 (-0.01) 817.69 (-0.01)
96e783 825.89 (+0.01) 825.89 (+0.01)
567b71 817.18 (+0.00) 817.18 (+0.00)
847fc5 816.81 (+0.01) 816.81 (+0.01)
5e08b3 811.66 (+0.01) 811.66 (+0.01)
4d291d 805.91 (+0.00) 805.91 (+0.00)
4d291d 805.60 (-0.02) 805.61 (-0.02)
bf63f1 820.89 (+0.03) 820.89 (+0.03)
0a0958 798.14 (-0.01) 798.14 (-0.01)
aabca5 806.12 (+0.00) 806.12 (+0.00)
a4be54 804.50 (-0.00) 804.50 (-0.00)
a3d7ad 807.50 (+0.00) 807.50 (+0.00)
a3d7ad 804.63 (+0.01) 804.64 (+0.01)
8ba169 794.55 (-0.01) 794.56 (-0.01)
e5cc2f 802.82 (-0.00) 802.82 (-0.00)
c6b56d 806.67 (+0.02) 806.67 (+0.02)
e067cd 794.32 (-0.01) 794.32 (-0.01)
bce423 803.66 (+0.02) 803.66 (+0.02)
bce423 791.59 (-0.00) 791.59 (-0.00)
c28bfd 793.67 (-0.01) 793.67 (-0.01)
95bf19 800.06 (-0.00) 800.06 (-0.00)
95bf19 802.07 (-0.00) 802.07 (-0.00)
080752 803.90 (+0.00) 803.90 (+0.00)
23d5e2 802.71 (-0.00) 802.71 (-0.00)
23d5e2 806.04 (+0.01) 806.04 (+0.01)
8b710b 795.40 (-0.01) 795.40 (-0.01)
8c6e60 802.08 (+0.04) 802.08 (+0.04)
10dae7 774.06 (-0.02) 774.06 (-0.02)
4c4d3d 790.87 (+0.03) 790.87 (+0.03)
9f94d0 771.29 (-0.01) 771.29 (-0.01)
9f94d0 780.89 (+0.02) 780.89 (+0.02)
9f94d0 762.46 (+0.01) 762.46 (+0.01)
c700c7 754.74 (-0.00) 754.74 (-0.00)
42c6dd 757.52 (+0.00) 757.52 (+0.00)
f6bf7b 755.08 (-0.01) 755.08 (-0.01)
1137b5 759.17 (-0.00) 759.18 (-0.00)
1468c6 759.29 (+0.01) 759.29 (+0.01)
1468c6 751.33 (-0.02) 751.33 (-0.02)
c01f92 764.43 (+0.01) 764.43 (+0.01)
7ff591 760.02 (-0.00) 760.03 (-0.00)
5d4774 761.41 (-0.01) 761.41 (-0.01)
56d8c2 765.53 (-0.02) 765.53 (-0.02)
12e6f4 777.82 (+0.00) 777.82 (+0.00)
12e6f4 775.95 (-0.01) 775.95 (-0.01)
12e6f4 785.47 (-0.02) 785.47 (-0.02)
61194a 802.55 (-0.07) 802.55 (-0.07)
70ce01 866.33 (+0.00) 866.33 (+0.00)
c04c20 866.03 (+0.01) 866.03 (+0.01)
827ee1 860.41 (-0.01) 860.41 (-0.01)
22ae67 873.09 (-0.00) 873.09 (-0.00)
0f4458 873.65 (+0.01) 873.66 (+0.01)
0f4458 869.02 (+0.01) 869.02 (+0.01)
0f4458 863.19 (+198.20) 863.19 (+60.58)
83faef 4.33 14.02

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query22]

platform: rds-aurora

revision Q22/1 total_duration
41aa62 24.28 (-0.03) 24.29 (-0.03)
7b5489 24.96 (-0.16) 24.96 (-0.16)
a23b07 29.74 (+0.17) 29.74 (+0.17)
cc2d00 25.52 (+0.10) 25.52 (+0.10)
ba9df2 23.23 (+0.12) 23.23 (+0.12)
a8f354 20.76 (+0.06) 20.76 (+0.06)
7feb0d 19.55 (-0.02) 19.55 (-0.02)
982fce 19.99 (+0.05) 19.99 (+0.05)
1f151d 19.12 (-0.11) 19.12 (-0.11)
ff1a1a 21.47 (-0.08) 21.47 (-0.08)
b1477b 23.24 (-0.01) 23.24 (-0.01)
1b947f 23.58 (-0.14) 23.59 (-0.14)
a21b55 27.57 (+0.15) 27.58 (+0.15)
4ba950 24.07 (+0.18) 24.08 (+0.18)
4e359d 20.38 (-0.08) 20.38 (-0.08)
3837fc 22.13 (+0.25) 22.13 (+0.25)
edcf4d 17.74 (-0.17) 17.74 (-0.17)
411c71 21.29 (-0.05) 21.29 (-0.05)
854348 22.31 (+0.07) 22.31 (+0.07)
7ba5c2 20.82 (+0.08) 20.82 (+0.08)
ebea29 19.31 (-0.08) 19.31 (-0.08)
22c890 20.97 (+0.06) 20.97 (+0.06)
f0b2e0 19.81 (+0.05) 19.81 (+0.05)
dec580 18.91 (+0.04) 18.91 (+0.04)
dec580 18.15 (+0.10) 18.15 (+0.10)
b1c2a6 16.54 (-0.07) 16.54 (-0.07)
931094 17.78 (+0.02) 17.78 (+0.02)
957acb 17.49 (-0.11) 17.49 (-0.11)
846532 19.70 (+0.13) 19.71 (+0.13)
d733bc 17.41 (-0.01) 17.41 (-0.01)
75ffe3 17.67 (-0.07) 17.67 (-0.07)
75ffe3 19.03 (-0.03) 19.04 (-0.03)
bf4623 19.56 (-0.07) 19.56 (-0.07)
b26c83 21.14 (-0.01) 21.14 (-0.01)
9d714a 21.31 (-0.08) 21.31 (-0.08)
6efea4 23.16 (+0.19) 23.16 (+0.19)
4071ff 19.38 (-0.17) 19.38 (-0.17)
870ba4 23.25 (+0.13) 23.25 (+0.13)
f5ca89 20.66 (-0.06) 20.66 (-0.06)
8bd565 21.94 (+0.03) 21.94 (+0.03)
dd22c8 21.31 (-0.15) 21.31 (-0.15)
299db9 24.98 (+0.04) 24.99 (+0.04)
93f3f4 24.05 (+0.04) 24.05 (+0.04)
f6e2e0 23.23 (+0.16) 23.23 (+0.16)
f6e2e0 20.08 (-0.13) 20.08 (-0.13)
f6e2e0 23.05 (+0.08) 23.05 (+0.08)
f1d960 21.42 (+0.05) 21.43 (+0.05)
4a9279 20.48 (+0.01) 20.48 (+0.01)
2e4bf7 20.30 (-0.09) 20.31 (-0.09)
ce8fbb 22.25 (-0.07) 22.25 (-0.07)
ce8fbb 24.04 (+0.17) 24.04 (+0.17)
ce8fbb 20.49 (-0.15) 20.49 (-0.15)
d1a0f2 24.08 (+0.03) 24.08 (+0.03)
ccf92d 23.44 (+0.13) 23.44 (+0.13)
02b8e0 20.83 (-0.13) 20.83 (-0.13)
7b9057 23.87 (+0.10) 23.87 (+0.10)
9cada8 21.61 (+0.06) 21.61 (+0.06)
9cada8 20.48 (-0.08) 20.48 (-0.08)
9cada8 22.34 (+0.04) 22.34 (+0.04)
a60f68 21.57 (-0.03) 21.57 (-0.03)
d19c52 22.21 (+0.07) 22.21 (+0.07)
000eb1 20.82 (-0.03) 20.83 (-0.03)
000eb1 21.54 (-0.01) 21.54 (-0.01)
f51b48 21.79 (-0.01) 21.79 (-0.01)
f51b48 22.10 (+0.20) 22.10 (+0.20)
f51b48 18.37 (-0.21) 18.37 (-0.21)
9f906f 23.16 (+0.08) 23.16 (+0.08)
0692ff 21.42 (-0.06) 21.42 (-0.06)
2caece 22.71 (-0.00) 22.71 (-0.00)
bc7d3c 22.78 (+0.08) 22.78 (+0.08)
2153d2 21.12 (+0.04) 21.12 (+0.04)
2153d2 20.37 (+0.02) 20.37 (+0.02)
2153d2 19.91 (+0.04) 19.91 (+0.04)
a1b062 19.18 (-0.06) 19.18 (-0.06)
1d9d7c 20.51 (-0.02) 20.51 (-0.02)
3569c1 20.93 (-0.03) 20.94 (-0.03)
eaff14 21.49 (+0.12) 21.49 (+0.12)
f383b4 19.20 (-0.05) 19.20 (-0.05)
f383b4 20.28 (+0.08) 20.28 (+0.08)
f383b4 18.79 (-0.09) 18.79 (-0.09)
a4256b 20.68 (+0.07) 20.68 (+0.07)
371493 19.35 (-0.05) 19.35 (-0.05)
c5c143 20.31 (-0.01) 20.31 (-0.01)
58fa4f 20.51 (+0.01) 20.51 (+0.01)
121d53 20.30 (+0.12) 20.31 (+0.12)
121d53 18.20 (+0.05) 18.20 (+0.05)
ec3a3a 17.32 (-0.17) 17.32 (-0.17)
96e783 20.76 (-0.02) 20.76 (-0.02)
567b71 21.11 (+0.09) 21.11 (+0.09)
847fc5 19.28 (-0.06) 19.28 (-0.06)
5e08b3 20.40 (+0.10) 20.40 (+0.10)
4d291d 18.58 (-0.09) 18.58 (-0.09)
4d291d 20.48 (+0.12) 20.48 (+0.12)
bf63f1 18.30 (-0.02) 18.30 (-0.02)
0a0958 18.65 (-0.06) 18.65 (-0.07)
aabca5 19.95 (-0.02) 19.95 (-0.02)
a4be54 20.32 (+0.07) 20.33 (+0.07)
a3d7ad 18.99 (-0.14) 18.99 (-0.14)
a3d7ad 22.18 (+0.12) 22.18 (+0.12)
8ba169 19.82 (+0.09) 19.82 (+0.09)
e5cc2f 18.23 (-0.07) 18.23 (-0.07)
c6b56d 19.51 (-0.05) 19.52 (-0.04)
e067cd 20.43 (+0.10) 20.43 (+0.10)
bce423 18.53 (-0.02) 18.53 (-0.02)
bce423 18.91 (-0.06) 18.91 (-0.06)
c28bfd 20.17 (+0.02) 20.17 (+0.01)
95bf19 19.87 (-0.03) 19.87 (-0.03)
95bf19 20.58 (+0.08) 20.58 (+0.08)
080752 19.01 (+0.14) 19.01 (+0.14)
23d5e2 16.66 (-0.15) 16.67 (-0.15)
23d5e2 19.53 (-0.05) 19.53 (-0.05)
8b710b 20.51 (+0.02) 20.52 (+0.02)
8c6e60 20.16 (+0.14) 20.16 (+0.14)
10dae7 17.61 (-0.11) 17.62 (-0.11)
4c4d3d 19.72 (-0.00) 19.72 (-0.00)
9f94d0 19.75 (+0.18) 19.75 (+0.18)
9f94d0 16.78 (-0.00) 16.78 (-0.00)
9f94d0 16.80 (-0.02) 16.80 (-0.02)
c700c7 17.16 (-0.01) 17.16 (-0.01)
42c6dd 17.39 (-0.03) 17.39 (-0.03)
f6bf7b 18.00 (+0.00) 18.00 (+0.00)
1137b5 17.97 (+0.10) 17.98 (+0.10)
1468c6 16.35 (-0.14) 16.35 (-0.14)
1468c6 18.99 (+0.01) 18.99 (+0.01)
c01f92 18.88 (+0.14) 18.89 (+0.14)
7ff591 16.61 (-0.09) 16.61 (-0.09)
5d4774 18.21 (+0.02) 18.21 (+0.02)
56d8c2 17.90 (+0.01) 17.90 (+0.01)
12e6f4 17.65 (-0.06) 17.65 (-0.06)
12e6f4 18.68 (+0.01) 18.68 (+0.01)
12e6f4 18.47 (+0.02) 18.47 (+0.02)
61194a 18.12 (-0.13) 18.12 (-0.13)
70ce01 20.86 (+0.05) 20.86 (+0.05)
c04c20 19.94 (-0.09) 19.94 (-0.09)
827ee1 21.89 (+0.03) 21.89 (+0.03)
22ae67 21.26 (-0.06) 21.26 (-0.06)
0f4458 22.62 (+0.06) 22.62 (+0.06)
0f4458 21.43 (+0.06) 21.43 (+0.06)
0f4458 20.20 (+24.74) 20.21 (+8.65)
83faef 0.78 2.10

Runs for test_runner/performance/test_perf_olap.py::test_user_examples

platform: rds-aurora

revision Q1/1 Q1/2 Q1/3 total_duration
baa132 63.32 (+0.14) 59.95 (+0.15) 59.37 (+0.10) 182.64 (+0.13)
d066da 55.66 (-0.05) 52.28 (-0.08) 53.80 (-0.07) 161.74 (-0.07)
0ba4ca 58.50 (-0.21) 56.69 (-0.17) 57.81 (-0.11) 173.00 (-0.16)
e43cde 74.23 (+0.23) 68.28 (+0.15) 64.64 (+0.03) 207.16 (+0.13)
6b1c4c 60.54 (-0.03) 59.60 (-0.02) 62.82 (+0.04) 182.96 (-0.00)
5d13a2 62.61 (-0.05) 60.57 (-0.02) 60.12 (-0.00) 183.30 (-0.03)
f7249b 65.82 (+0.13) 62.10 (-0.03) 60.19 (+0.01) 188.11 (+0.04)
306c4f 58.08 (-0.13) 63.81 (+0.04) 59.70 (-0.06) 181.59 (-0.05)
bd5934 66.57 (+0.06) 61.61 (-0.06) 63.39 (-0.01) 191.57 (-0.00)
b1a112 62.60 (-0.10) 65.59 (-0.06) 64.00 (-0.08) 192.19 (-0.08)
99c159 69.49 (-0.08) 69.87 (-0.06) 69.72 (-0.01) 209.09 (-0.05)
ea5a97 75.92 (+0.06) 74.52 (-0.02) 70.72 (-0.04) 221.17 (-0.00)
89275f 71.34 (+0.03) 75.95 (+0.19) 73.95 (+0.19) 221.26 (+0.13)
6d33d8 69.30 (+0.03) 63.63 (-0.07) 62.10 (-0.02) 195.05 (-0.02)
a7f4ee 67.33 (+0.03) 68.10 (+0.05) 63.30 (+0.05) 198.73 (+0.04)
6f28da 65.55 (+0.10) 64.70 (+0.10) 60.24 (+0.07) 190.49 (+0.09)
41aa62 59.63 (+0.01) 58.86 (+0.03) 56.24 (-0.02) 174.73 (+0.01)
7b5489 59.05 (-0.08) 57.22 (-0.16) 57.13 (-0.10) 173.41 (-0.11)
a23b07 63.90 (+0.07) 68.21 (+0.19) 63.28 (+0.13) 195.38 (+0.13)
cc2d00 59.99 (+0.08) 57.51 (+0.07) 56.05 (+0.05) 173.56 (+0.06)
ba9df2 55.69 (+0.12) 53.98 (+0.21) 53.37 (+0.12) 163.05 (+0.15)
a8f354 49.84 (+0.08) 44.60 (+0.00) 47.81 (+0.12) 142.26 (+0.07)
7feb0d 46.18 (-0.11) 44.58 (-0.06) 42.69 (-0.07) 133.45 (-0.08)
982fce 52.13 (+0.09) 47.44 (-0.01) 45.91 (-0.02) 145.48 (+0.02)
1f151d 47.62 (+0.10) 48.06 (+0.09) 46.93 (+0.12) 142.61 (+0.10)
ff1a1a 43.15 (-0.20) 44.06 (-0.13) 41.91 (-0.17) 129.13 (-0.17)
b1477b 53.87 (-0.06) 50.68 (-0.09) 50.29 (+0.01) 154.85 (-0.05)
1b947f 57.42 (-0.01) 55.60 (+0.09) 49.81 (-0.04) 162.84 (+0.01)
a21b55 57.99 (-0.04) 51.00 (-0.08) 52.11 (-0.00) 161.11 (-0.04)
4ba950 60.43 (+0.21) 55.17 (+0.19) 52.32 (+0.07) 167.92 (+0.16)
4e359d 49.94 (-0.00) 46.41 (-0.08) 48.76 (-0.08) 145.11 (-0.05)
3837fc 50.02 (+0.15) 50.23 (+0.15) 52.79 (+0.26) 153.04 (+0.19)
edcf4d 43.59 (-0.03) 43.59 (+0.02) 41.90 (+0.00) 129.08 (-0.00)
411c71 44.89 (-0.09) 42.59 (-0.06) 41.79 (-0.15) 129.28 (-0.10)
854348 49.27 (-0.01) 45.08 (-0.08) 49.41 (+0.07) 143.77 (-0.01)
7ba5c2 49.76 (+0.05) 49.10 (+0.03) 46.30 (+0.02) 145.17 (+0.03)
ebea29 47.52 (-0.03) 47.71 (+0.06) 45.60 (-0.04) 140.82 (-0.00)
22c890 48.89 (+0.01) 44.92 (-0.02) 47.65 (+0.04) 141.46 (+0.01)
f0b2e0 48.42 (+0.09) 45.94 (+0.09) 45.76 (+0.07) 140.13 (+0.08)
dec580 44.29 (-0.00) 42.09 (+0.01) 42.83 (-0.01) 129.21 (-0.00)
dec580 44.30 (+0.06) 41.79 (-0.04) 43.33 (+0.02) 129.42 (+0.01)
b1c2a6 41.97 (+0.00) 43.49 (+0.05) 42.38 (+0.01) 127.84 (+0.02)
931094 41.78 (-0.08) 41.33 (+0.00) 41.89 (-0.04) 125.00 (-0.04)
957acb 45.37 (+0.05) 41.22 (-0.06) 43.78 (+0.11) 130.38 (+0.03)
846532 43.23 (+0.02) 43.70 (-0.01) 39.58 (-0.08) 126.52 (-0.03)
d733bc 42.56 (-0.05) 44.31 (+0.07) 43.10 (-0.00) 129.96 (+0.01)
75ffe3 44.61 (+0.05) 41.24 (+0.04) 43.17 (+0.04) 129.02 (+0.04)
75ffe3 42.55 (-0.18) 39.83 (-0.21) 41.53 (-0.23) 123.92 (-0.21)
bf4623 52.00 (+0.04) 50.55 (-0.02) 53.73 (+0.00) 156.28 (+0.01)
b26c83 49.78 (-0.11) 51.40 (-0.07) 53.58 (+0.02) 154.76 (-0.05)
9d714a 55.66 (+0.07) 55.32 (+0.04) 52.56 (-0.02) 163.54 (+0.03)
6efea4 52.22 (-0.01) 53.23 (+0.03) 53.38 (+0.02) 158.83 (+0.01)
4071ff 52.90 (+0.02) 51.61 (-0.00) 52.09 (-0.02) 156.60 (-0.00)
870ba4 51.95 (+0.02) 51.73 (-0.05) 53.29 (-0.01) 156.98 (-0.01)
f5ca89 51.11 (-0.09) 54.28 (-0.03) 53.84 (+0.02) 159.23 (-0.03)
8bd565 56.17 (+0.09) 55.70 (+0.11) 53.00 (+0.02) 164.87 (+0.07)
dd22c8 51.30 (-0.10) 50.31 (-0.07) 52.01 (+0.02) 153.62 (-0.05)
299db9 57.07 (+0.03) 53.99 (+0.01) 51.20 (+0.05) 162.27 (+0.03)
93f3f4 55.66 (+0.13) 53.52 (+0.03) 48.57 (-0.06) 157.75 (+0.03)
f6e2e0 49.24 (-0.02) 52.10 (+0.00) 51.53 (-0.07) 152.87 (-0.03)
f6e2e0 50.43 (-0.08) 51.93 (-0.03) 55.55 (+0.07) 157.91 (-0.02)
f6e2e0 55.09 (+0.01) 53.41 (+0.05) 51.88 (-0.08) 160.38 (-0.01)
f1d960 54.32 (+0.00) 50.91 (-0.04) 56.19 (+0.05) 161.42 (+0.00)
4a9279 54.29 (+0.02) 53.07 (+0.08) 53.34 (+0.00) 160.70 (+0.03)
2e4bf7 53.16 (-0.03) 49.20 (-0.08) 53.27 (-0.01) 155.63 (-0.04)
ce8fbb 54.79 (+0.01) 53.25 (-0.01) 53.55 (+0.06) 161.59 (+0.02)
ce8fbb 54.42 (-0.03) 53.73 (-0.01) 50.69 (+0.02) 158.84 (-0.01)
ce8fbb 56.10 (+0.01) 54.18 (+0.10) 49.87 (-0.06) 160.15 (+0.01)
d1a0f2 55.28 (+0.02) 49.42 (-0.10) 53.09 (-0.05) 157.79 (-0.04)
ccf92d 54.28 (+0.07) 55.12 (+0.09) 55.61 (+0.07) 165.01 (+0.07)
02b8e0 50.94 (-0.04) 50.71 (-0.03) 52.01 (+0.02) 153.65 (-0.02)
7b9057 52.86 (+0.03) 52.26 (+0.05) 50.89 (-0.03) 156.02 (+0.01)
9cada8 51.43 (+0.03) 49.66 (-0.06) 52.65 (-0.01) 153.75 (-0.02)
9cada8 50.01 (-0.09) 53.08 (-0.02) 53.41 (+0.08) 156.51 (-0.01)
9cada8 54.69 (+0.03) 54.29 (+0.08) 49.63 (-0.04) 158.60 (+0.02)
a60f68 52.99 (+0.00) 50.28 (-0.03) 51.68 (+0.02) 154.95 (-0.00)
d19c52 52.90 (-0.01) 51.60 (-0.02) 50.75 (-0.01) 155.26 (-0.01)
000eb1 53.64 (+0.00) 52.60 (+0.03) 51.19 (+0.02) 157.43 (+0.02)
000eb1 53.51 (-0.01) 51.07 (+0.05) 50.14 (-0.04) 154.72 (-0.00)
f51b48 54.04 (+0.01) 48.56 (-0.00) 52.41 (+0.00) 155.00 (+0.00)
f51b48 53.73 (-0.05) 48.69 (-0.11) 52.25 (-0.02) 154.68 (-0.06)
f51b48 56.74 (+0.11) 54.51 (+0.11) 53.11 (-0.00) 164.37 (+0.07)
9f906f 51.34 (+0.04) 49.14 (+0.07) 53.15 (+0.11) 153.64 (+0.07)
0692ff 49.32 (+0.04) 45.98 (-0.10) 47.90 (-0.04) 143.20 (-0.04)
2caece 47.53 (-0.03) 51.11 (+0.08) 49.76 (+0.01) 148.40 (+0.02)
bc7d3c 49.05 (+0.00) 47.40 (+0.02) 49.11 (+0.00) 145.56 (+0.01)
2153d2 49.04 (+0.02) 46.66 (-0.03) 49.04 (+0.03) 144.75 (+0.01)
2153d2 48.11 (-0.01) 48.14 (+0.01) 47.68 (-0.04) 143.93 (-0.02)
2153d2 48.79 (+0.02) 47.63 (-0.01) 49.92 (+0.15) 146.34 (+0.05)
a1b062 48.00 (-0.01) 47.91 (+0.02) 43.30 (-0.14) 139.21 (-0.05)
1d9d7c 48.59 (+0.04) 47.00 (-0.03) 50.42 (+0.10) 146.01 (+0.04)
3569c1 46.79 (-0.04) 48.23 (-0.06) 45.89 (-0.05) 140.91 (-0.05)
eaff14 48.50 (-0.00) 51.21 (+0.08) 48.43 (+0.11) 148.15 (+0.06)
f383b4 48.59 (-0.04) 47.22 (-0.04) 43.83 (-0.10) 139.64 (-0.06)
f383b4 50.42 (+0.05) 49.02 (+0.03) 48.57 (+0.03) 148.01 (+0.04)
f383b4 47.94 (+0.04) 47.53 (+0.02) 47.19 (+0.02) 142.67 (+0.03)
a4256b 45.91 (-0.01) 46.62 (-0.08) 46.35 (-0.07) 138.88 (-0.05)
371493 46.41 (-0.07) 50.62 (+0.11) 49.91 (+0.04) 146.95 (+0.02)
c5c143 49.88 (+0.07) 45.49 (-0.05) 48.13 (-0.02) 143.50 (-0.00)
58fa4f 46.73 (-0.02) 47.80 (+0.02) 49.09 (+0.12) 143.62 (+0.04)
121d53 47.85 (-0.04) 46.91 (+0.07) 43.76 (-0.06) 138.52 (-0.01)
121d53 49.77 (-0.02) 44.01 (-0.07) 46.42 (+0.01) 140.20 (-0.03)
ec3a3a 51.02 (+0.08) 47.18 (+0.07) 46.13 (+0.05) 144.34 (+0.07)
96e783 47.28 (+0.03) 44.23 (+0.01) 43.79 (-0.02) 135.30 (+0.01)
567b71 45.85 (-0.05) 43.81 (-0.05) 44.54 (+0.03) 134.19 (-0.03)
847fc5 48.40 (-0.03) 45.95 (-0.05) 43.42 (-0.09) 137.78 (-0.06)
5e08b3 50.05 (+0.03) 48.42 (+0.04) 47.84 (+0.09) 146.31 (+0.05)
4d291d 48.61 (-0.03) 46.62 (+0.05) 43.70 (-0.04) 138.94 (-0.01)
4d291d 50.22 (+0.08) 44.39 (+0.02) 45.42 (+0.08) 140.03 (+0.06)
bf63f1 46.50 (-0.05) 43.42 (-0.09) 41.94 (-0.09) 131.87 (-0.07)
0a0958 48.76 (+0.04) 47.48 (+0.10) 46.13 (-0.03) 142.37 (+0.03)
aabca5 46.96 (-0.11) 43.12 (-0.07) 47.53 (+0.08) 137.60 (-0.04)
a4be54 52.80 (+0.13) 46.26 (+0.10) 43.95 (+0.05) 143.02 (+0.09)
a3d7ad 46.60 (-0.01) 42.16 (+0.20) 42.04 (+0.15) 130.81 (+0.10)
a3d7ad 46.97 (-0.03) 35.02 (-0.03) 36.58 (+0.05) 118.57 (-0.00)
8ba169 48.34 (-0.07) 35.93 (-0.02) 34.83 (-0.05) 119.11 (-0.05)
e5cc2f 51.94 (+0.11) 36.85 (+0.02) 36.84 (-0.09) 125.63 (+0.02)
c6b56d 46.67 (-0.10) 36.06 (-0.00) 40.61 (+0.12) 123.34 (-0.01)
e067cd 52.05 (+0.05) 36.15 (+0.00) 36.38 (+0.03) 124.57 (+0.03)
bce423 49.61 (+0.01) 36.12 (+0.00) 35.45 (+0.02) 121.18 (+0.01)
bce423 48.94 (+0.04) 36.11 (+0.04) 34.91 (-0.02) 119.96 (+0.02)
c28bfd 47.11 34.79 35.78 117.69

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query0-10]

platform: rds-aurora

revision Q0/1 Q0/2 Q0/3 total_duration
baa132 9.75 (+0.20) 9.09 (-0.04) 7.50 (+0.01) 39.82 (+0.59)
d066da 8.14 (+0.16) 9.49 (+0.09) 7.41 (-0.25) 25.05 (-0.02)
0ba4ca 7.00 (-0.26) 8.71 (-0.42) 9.87 (-0.01) 25.58 (-0.26)
e43cde 9.48 (-0.13) 14.89 (+0.44) 9.99 (+0.29) 34.36 (+0.19)
6b1c4c 10.87 (+0.01) 10.32 (-0.08) 7.77 (-0.14) 28.96 (-0.06)
5d13a2 10.74 (+0.13) 11.17 (-0.12) 8.99 (+0.07) 30.91 (+0.01)
f7249b 9.53 (-0.19) 12.68 (+0.17) 8.40 (+0.03) 30.61 (-0.00)
306c4f 11.74 (+0.27) 10.83 (-0.17) 8.19 (+0.06) 30.76 (+0.02)
b1a112 9.22 (-0.29) 13.08 (+0.01) 7.71 (-0.34) 30.02 (-0.20)
99c159 13.04 (+0.09) 12.99 (+0.02) 11.68 (+0.03) 37.71 (+0.05)
ea5a97 11.94 (+0.27) 12.73 (+0.05) 11.36 (-0.08) 36.03 (+0.06)
89275f 9.42 (+0.03) 12.10 (+0.01) 12.30 (+0.04) 33.84 (+0.03)
6d33d8 9.15 (-0.22) 12.02 (+0.14) 11.80 (+0.46) 33.00 (+0.09)
a7f4ee 11.76 (-0.09) 10.53 (+0.14) 8.08 (-0.10) 30.37 (-0.02)
6f28da 12.88 9.22 8.99 31.08

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query1-10]

platform: rds-aurora

revision Q1/1 Q1/2 Q1/3 total_duration
baa132 78.92 (+0.12) 78.10 (+0.12) 75.50 (+0.09) 310.63 (+0.49)
d066da 70.25 (-0.00) 69.47 (+0.01) 69.44 (+0.01) 209.16 (+0.01)
0ba4ca 70.56 (-0.22) 68.58 (-0.26) 68.92 (-0.20) 208.05 (-0.23)
e43cde 90.06 (+0.13) 92.27 (+0.13) 86.42 (+0.15) 268.77 (+0.14)
6b1c4c 79.48 (-0.03) 82.00 (-0.03) 75.02 (-0.05) 236.51 (-0.03)
5d13a2 81.64 (-0.02) 84.53 (+0.06) 78.59 (-0.01) 244.76 (+0.01)
f7249b 83.43 (-0.01) 79.52 (-0.04) 79.41 (+0.01) 242.36 (-0.01)
306c4f 83.93 (-0.06) 82.71 (-0.04) 78.60 (-0.04) 245.24 (-0.05)
b1a112 88.92 (-0.09) 86.11 (-0.06) 81.90 (-0.06) 256.93 (-0.07)
99c159 97.32 (-0.05) 91.88 (-0.05) 87.40 (-0.12) 276.60 (-0.07)
ea5a97 102.67 (+0.02) 96.88 (+0.02) 98.83 (+0.02) 298.38 (+0.02)
89275f 100.47 (+0.13) 95.27 (+0.05) 96.50 (+0.06) 292.25 (+0.08)
6d33d8 89.24 (+0.00) 91.09 (+0.05) 90.80 (+0.10) 271.13 (+0.05)
a7f4ee 89.20 (-0.00) 86.80 (+0.00) 82.61 (-0.03) 258.62 (-0.01)
6f28da 89.32 86.38 84.81 260.51

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query2-10]

platform: rds-aurora

revision Q2/1 Q2/2 Q2/3 total_duration
baa132 81.54 (+0.23) 74.01 (+0.12) 78.97 (+0.14) 315.76 (+0.57)
d066da 66.52 (-0.03) 66.02 (-0.06) 69.10 (-0.01) 201.64 (-0.03)
0ba4ca 68.73 (-0.22) 69.92 (-0.20) 70.11 (-0.23) 208.76 (-0.22)
e43cde 87.93 (+0.14) 87.60 (+0.16) 90.90 (+0.12) 266.44 (+0.14)
6b1c4c 77.18 (-0.05) 75.46 (-0.05) 80.93 (-0.01) 233.57 (-0.04)
5d13a2 81.22 (-0.04) 79.84 (-0.01) 81.40 (+0.05) 242.46 (-0.00)
f7249b 84.74 (+0.06) 81.00 (+0.02) 77.61 (-0.04) 243.35 (+0.01)
306c4f 80.14 (-0.01) 79.08 (-0.09) 80.62 (-0.01) 239.84 (-0.04)
b1a112 81.21 (-0.13) 86.48 (+0.01) 81.73 (-0.04) 249.42 (-0.06)
99c159 93.16 (-0.07) 86.00 (-0.10) 85.22 (-0.09) 264.38 (-0.09)
ea5a97 100.02 (-0.01) 95.88 (-0.01) 93.82 (-0.01) 289.72 (-0.01)
89275f 100.91 (+0.18) 96.63 (+0.11) 94.89 (+0.10) 292.42 (+0.13)
6d33d8 85.16 (+0.00) 87.28 (+0.02) 86.59 (+0.07) 259.03 (+0.03)
a7f4ee 84.93 (-0.04) 85.79 (-0.01) 81.09 (-0.06) 251.82 (-0.04)
6f28da 88.48 86.69 86.58 261.75

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query3-10]

platform: rds-aurora

revision Q3/1 Q3/2 Q3/3 total_duration
baa132 8.67 (+0.06) 7.63 (+0.16) 10.97 (+0.49) 38.99 (+0.76)
d066da 8.16 (+0.06) 6.59 (-0.10) 7.37 (+0.05) 22.12 (+0.01)
0ba4ca 7.67 (-0.15) 7.29 (-0.36) 6.99 (-0.09) 21.95 (-0.22)
e43cde 8.98 (+0.10) 11.39 (+0.19) 7.69 (+0.01) 28.06 (+0.11)
6b1c4c 8.15 (-0.03) 9.59 (+0.22) 7.59 (-0.06) 25.33 (+0.04)
5d13a2 8.44 (-0.00) 7.88 (-0.15) 8.09 (-0.16) 24.40 (-0.11)
f7249b 8.46 (-0.14) 9.24 (+0.19) 9.69 (+0.13) 27.39 (+0.04)
306c4f 9.85 (+0.20) 7.79 (-0.21) 8.61 (-0.11) 26.24 (-0.05)
b1a112 8.24 (-0.25) 9.80 (+0.21) 9.70 (-0.11) 27.74 (-0.08)
99c159 10.98 (-0.04) 8.10 (-0.33) 10.92 (+0.16) 29.99 (-0.09)
ea5a97 11.41 (-0.07) 12.01 (+0.36) 9.39 (-0.07) 32.81 (+0.05)
89275f 12.26 (+0.20) 8.82 (+0.08) 10.09 (+0.05) 31.17 (+0.11)
6d33d8 10.21 (+0.10) 8.19 (+0.03) 9.62 (+0.07) 28.03 (+0.07)
a7f4ee 9.31 (+0.21) 7.92 (+0.00) 8.97 (-0.18) 26.20 (-0.01)
6f28da 7.69 7.91 10.99 26.58

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query4-10]

platform: rds-aurora

revision Q4/1 Q4/2 Q4/3 total_duration
baa132 13.22 (-0.05) 13.22 (+0.16) 12.09 (-0.07) 56.72 (+0.48)
d066da 13.93 (+0.05) 11.39 (+0.08) 12.94 (-0.03) 38.26 (+0.03)
0ba4ca 13.27 (-0.08) 10.58 (-0.31) 13.29 (-0.19) 37.14 (-0.19)
e43cde 14.47 (+0.03) 15.27 (+0.14) 16.34 (+0.28) 46.09 (+0.14)
6b1c4c 14.05 (-0.07) 13.45 (-0.07) 12.80 (-0.09) 40.31 (-0.08)
5d13a2 15.06 (-0.01) 14.48 (+0.08) 14.04 (-0.01) 43.59 (+0.02)
f7249b 15.20 (+0.06) 13.43 (+0.07) 14.19 (-0.07) 42.82 (+0.02)
306c4f 14.36 (+0.06) 12.59 (-0.16) 15.21 (+0.16) 42.16 (+0.01)
b1a112 13.58 (-0.11) 14.96 (-0.19) 13.10 (-0.10) 41.65 (-0.13)
99c159 15.19 (-0.12) 18.40 (+0.14) 14.54 (-0.27) 48.13 (-0.10)
ea5a97 17.21 (-0.02) 16.19 (+0.04) 19.89 (+0.18) 53.29 (+0.07)
89275f 17.61 (+0.13) 15.59 (+0.09) 16.81 (+0.10) 50.01 (+0.11)
6d33d8 15.59 (+0.04) 14.31 (+0.11) 15.26 (+0.02) 45.15 (+0.05)
a7f4ee 15.00 (+0.05) 12.88 (-0.22) 14.91 (+0.15) 42.80 (-0.03)
6f28da 14.31 16.62 12.97 43.90

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query5-10]

platform: rds-aurora

revision Q5/1 Q5/2 Q5/3 total_duration
baa132 110.53 (+0.12) 109.51 (+0.16) 112.60 (+0.16) 445.94 (+0.54)
d066da 98.59 (+0.02) 94.71 (-0.02) 96.72 (+0.05) 290.01 (+0.02)
0ba4ca 96.38 (-0.23) 96.68 (-0.23) 92.55 (-0.26) 285.61 (-0.24)
e43cde 125.53 (+0.15) 125.77 (+0.10) 124.79 (+0.14) 376.10 (+0.13)
6b1c4c 109.47 (-0.01) 113.91 (+0.02) 109.88 (+0.00) 333.26 (+0.00)
5d13a2 110.52 (-0.02) 111.98 (+0.01) 109.61 (-0.04) 332.11 (-0.02)
f7249b 113.31 (+0.04) 110.69 (-0.02) 113.71 (+0.03) 337.71 (+0.01)
306c4f 109.48 (-0.07) 113.12 (+0.00) 110.46 (-0.05) 333.06 (-0.04)
b1a112 118.27 (-0.11) 112.95 (-0.10) 115.70 (-0.13) 346.92 (-0.12)
99c159 133.20 (-0.01) 125.61 (-0.07) 133.52 (-0.02) 392.32 (-0.03)
ea5a97 134.68 (-0.03) 134.35 (+0.03) 135.61 (-0.03) 404.65 (-0.01)
89275f 138.76 (+0.14) 130.60 (+0.06) 140.00 (+0.19) 409.36 (+0.13)
6d33d8 121.23 (+0.00) 122.99 (+0.05) 118.02 (+0.00) 362.24 (+0.02)
a7f4ee 120.91 (+0.01) 117.69 (-0.00) 117.59 (-0.02) 356.19 (-0.00)
6f28da 119.80 118.00 120.15 357.95

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query6-10]

platform: rds-aurora

revision Q6/1 Q6/2 Q6/3 total_duration
baa132 7.88 (-0.18) 8.01 (+0.08) 9.48 (+0.31) 37.68 (+0.55)
d066da 9.64 (+0.18) 7.42 (+0.02) 7.22 (-0.09) 24.29 (+0.04)
0ba4ca 8.20 (-0.16) 7.30 (-0.34) 7.91 (-0.18) 23.41 (-0.23)
e43cde 9.74 (+0.19) 10.98 (+0.45) 9.61 (+0.07) 30.33 (+0.23)
6b1c4c 8.20 (-0.13) 7.59 (-0.15) 8.96 (+0.06) 24.76 (-0.08)
5d13a2 9.43 (+0.26) 8.94 (+0.02) 8.48 (-0.15) 26.85 (+0.02)
f7249b 7.50 (-0.03) 8.81 (+0.02) 10.03 (-0.03) 26.34 (-0.02)
306c4f 7.77 (-0.12) 8.61 (-0.07) 10.39 (-0.03) 26.77 (-0.07)
b1a112 8.86 (-0.18) 9.22 (+0.01) 10.70 (+0.24) 28.77 (+0.01)
99c159 10.85 (+0.05) 9.10 (-0.01) 8.60 (-0.21) 28.55 (-0.06)
ea5a97 10.30 (+0.14) 9.23 (-0.11) 10.87 (-0.16) 30.40 (-0.06)
89275f 9.07 (-0.03) 10.38 (-0.11) 12.92 (+0.56) 32.36 (+0.10)
6d33d8 9.34 (+0.02) 11.72 (+0.38) 8.27 (-0.30) 29.34 (-0.00)
a7f4ee 9.15 (+0.22) 8.49 (-0.30) 11.78 (+0.44) 29.42 (+0.06)
6f28da 7.52 12.09 8.20 27.81

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query7-10]

platform: rds-aurora

revision Q7/1 Q7/2 Q7/3 total_duration
baa132 83.91 (+0.17) 76.11 (+0.11) 75.22 (+0.16) 312.40 (+0.52)
d066da 71.92 (+0.03) 68.79 (-0.04) 64.84 (-0.05) 205.55 (-0.02)
0ba4ca 70.04 (-0.23) 71.52 (-0.16) 68.39 (-0.19) 209.95 (-0.20)
e43cde 91.26 (+0.17) 85.50 (+0.07) 84.69 (+0.15) 261.45 (+0.13)
6b1c4c 77.76 (-0.00) 79.61 (-0.04) 73.42 (-0.06) 230.79 (-0.04)
5d13a2 77.76 (-0.07) 83.18 (+0.08) 78.28 (-0.04) 239.23 (-0.01)
f7249b 83.42 (+0.06) 76.91 (-0.06) 81.82 (+0.05) 242.16 (+0.01)
306c4f 78.91 (-0.08) 82.12 (-0.01) 78.20 (-0.05) 239.23 (-0.05)
b1a112 86.23 (-0.04) 82.78 (-0.10) 82.22 (-0.12) 251.23 (-0.09)
99c159 89.51 (-0.10) 91.80 (-0.07) 93.62 (-0.03) 274.93 (-0.07)
ea5a97 99.61 (+0.04) 98.59 (-0.02) 96.51 (-0.01) 294.71 (+0.00)
89275f 95.44 (+0.06) 101.10 (+0.12) 97.91 (+0.13) 294.45 (+0.10)
6d33d8 90.07 (+0.08) 90.47 (+0.08) 86.32 (+0.01) 266.86 (+0.06)
a7f4ee 83.10 (-0.04) 83.92 (-0.01) 85.61 (-0.04) 252.63 (-0.03)
6f28da 86.76 84.59 89.47 260.82

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query8-10]

platform: rds-aurora

revision Q8/1 Q8/2 Q8/3 total_duration
baa132 83.73 (+0.11) 85.17 (+0.14) 83.90 (+0.12) 346.82 (+0.54)
d066da 75.14 (+0.05) 74.75 (-0.00) 74.76 (-0.01) 224.65 (+0.01)
0ba4ca 71.56 (-0.28) 74.83 (-0.26) 75.50 (-0.22) 221.89 (-0.26)
e43cde 99.99 (+0.16) 101.26 (+0.19) 96.90 (+0.12) 298.15 (+0.15)
6b1c4c 86.26 (-0.02) 85.41 (-0.01) 86.66 (-0.03) 258.33 (-0.02)
5d13a2 87.92 (-0.00) 86.05 (+0.01) 88.93 (+0.06) 262.90 (+0.02)
f7249b 88.11 (+0.02) 85.30 (+0.04) 84.20 (-0.06) 257.61 (+0.00)
306c4f 86.16 (-0.07) 81.98 (-0.11) 89.21 (-0.03) 257.36 (-0.07)
b1a112 92.88 (-0.06) 92.29 (-0.07) 92.12 (-0.10) 277.29 (-0.07)
99c159 98.44 (-0.06) 99.38 (-0.09) 101.82 (+0.00) 299.64 (-0.05)
ea5a97 105.23 (+0.04) 109.80 (-0.02) 101.69 (-0.02) 316.72 (+0.00)
89275f 100.94 (+0.09) 112.29 (+0.17) 103.40 (+0.12) 316.64 (+0.13)
6d33d8 92.60 (+0.01) 95.75 (+0.06) 92.60 (+0.04) 280.95 (+0.03)
a7f4ee 91.84 (-0.02) 90.63 (+0.00) 89.46 (-0.02) 271.93 (-0.01)
6f28da 93.55 90.59 91.13 275.27

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query9-10]

platform: rds-aurora

revision Q9/1 Q9/2 Q9/3 total_duration
baa132 90.29 (+0.13) 90.67 (+0.09) 91.53 (+0.10) 373.97 (+0.52)
d066da 79.60 (+0.03) 82.85 (+0.05) 83.51 (+0.05) 245.97 (+0.04)
0ba4ca 77.43 (-0.28) 79.07 (-0.24) 79.23 (-0.22) 235.73 (-0.25)
e43cde 108.13 (+0.18) 104.00 (+0.15) 101.39 (+0.06) 313.52 (+0.13)
6b1c4c 91.95 (-0.01) 90.80 (-0.01) 95.68 (-0.01) 278.43 (-0.01)
5d13a2 92.60 (-0.04) 91.48 (-0.01) 96.60 (+0.07) 280.69 (+0.01)
f7249b 96.08 (-0.00) 92.13 (-0.00) 90.68 (-0.04) 278.89 (-0.02)
306c4f 96.55 (-0.03) 92.31 (-0.05) 94.40 (-0.03) 283.26 (-0.04)
b1a112 99.93 (-0.05) 97.60 (-0.13) 97.18 (-0.11) 294.72 (-0.10)
99c159 105.30 (-0.08) 112.06 (-0.03) 109.40 (-0.03) 326.76 (-0.04)
ea5a97 113.85 (+0.01) 115.30 (-0.01) 112.31 (+0.03) 341.47 (+0.01)
89275f 112.86 (+0.09) 116.30 (+0.17) 109.31 (+0.10) 338.47 (+0.12)
6d33d8 103.10 (+0.02) 99.28 (+0.03) 99.44 (+0.03) 301.82 (+0.03)
a7f4ee 100.88 (+0.00) 96.48 (-0.05) 96.55 (-0.02) 293.90 (-0.02)
6f28da 100.58 101.08 98.40 300.06

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query10-10]

platform: rds-aurora

revision Q10/1 Q10/2 Q10/3 total_duration
baa132 75.55 (+0.12) 80.22 (+0.22) 76.28 (+0.14) 311.34 (+0.55)
d066da 67.19 (-0.05) 65.97 (-0.02) 67.09 (+0.03) 200.24 (-0.02)
0ba4ca 70.76 (-0.22) 67.38 (-0.20) 65.40 (-0.25) 203.54 (-0.22)
e43cde 90.90 (+0.20) 84.34 (+0.14) 86.96 (+0.17) 262.20 (+0.17)
6b1c4c 75.98 (-0.03) 74.01 (-0.06) 74.19 (-0.06) 224.18 (-0.05)
5d13a2 78.27 (-0.06) 78.61 (-0.05) 78.99 (-0.02) 235.88 (-0.04)
f7249b 82.91 (+0.07) 82.59 (+0.05) 80.72 (+0.03) 246.22 (+0.05)
306c4f 77.43 (-0.11) 78.40 (-0.09) 78.09 (-0.07) 233.92 (-0.09)
b1a112 86.73 (-0.00) 86.22 (-0.06) 84.35 (-0.10) 257.31 (-0.05)
99c159 87.13 (-0.10) 91.82 (-0.07) 93.27 (-0.01) 272.23 (-0.06)
ea5a97 97.04 (+0.02) 99.24 (+0.03) 94.60 (-0.01) 290.88 (+0.01)
89275f 95.42 (+0.08) 96.40 (+0.11) 95.39 (+0.14) 287.22 (+0.11)
6d33d8 88.23 (+0.01) 86.88 (+0.05) 83.83 (+0.05) 258.95 (+0.04)
a7f4ee 87.42 (+0.01) 82.60 (-0.02) 79.51 (-0.05) 249.53 (-0.02)
6f28da 86.63 84.32 83.80 254.75

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query11-10]

platform: rds-aurora

revision Q11/1 Q11/2 Q11/3 total_duration
baa132 77.48 (+0.12) 78.40 (+0.18) 79.70 (+0.18) 309.09 (+0.52)
d066da 68.94 (+0.02) 66.68 (-0.02) 67.41 (-0.05) 203.03 (-0.02)
0ba4ca 67.78 (-0.22) 68.31 (-0.24) 70.60 (-0.19) 206.69 (-0.22)
e43cde 87.11 (+0.11) 90.21 (+0.14) 86.70 (+0.15) 264.03 (+0.14)
6b1c4c 78.19 (-0.04) 78.80 (-0.03) 75.30 (-0.02) 232.30 (-0.03)
5d13a2 81.05 (-0.00) 81.19 (-0.01) 77.14 (-0.02) 239.39 (-0.01)
f7249b 81.42 (+0.04) 82.32 (+0.03) 78.67 (+0.02) 242.41 (+0.03)
306c4f 78.51 (-0.08) 80.01 (-0.07) 76.81 (-0.04) 235.33 (-0.06)
b1a112 85.07 (-0.02) 86.10 (-0.04) 80.25 (-0.13) 251.41 (-0.06)
99c159 86.84 (-0.13) 90.08 (-0.11) 91.80 (-0.02) 268.72 (-0.09)
ea5a97 100.03 (+0.01) 100.69 (+0.00) 93.40 (+0.00) 294.12 (+0.01)
89275f 98.56 (+0.17) 100.49 (+0.16) 93.30 (+0.08) 292.35 (+0.14)
6d33d8 84.03 (-0.03) 86.80 (-0.00) 86.60 (+0.04) 257.43 (+0.00)
a7f4ee 86.54 (+0.01) 87.10 (+0.02) 83.09 (-0.02) 256.73 (+0.00)
6f28da 86.07 85.21 85.09 256.38

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query12-10]

platform: rds-aurora

revision Q12/1 Q12/2 Q12/3 total_duration
baa132 102.07 (+0.15) 103.09 (+0.17) 101.62 (+0.15) 408.26 (+0.54)
d066da 88.87 (+0.03) 88.30 (+0.02) 88.19 (+0.01) 265.37 (+0.02)
0ba4ca 86.05 (-0.21) 86.59 (-0.23) 87.19 (-0.21) 259.84 (-0.22)
e43cde 109.55 (+0.10) 112.11 (+0.13) 110.22 (+0.13) 331.88 (+0.12)
6b1c4c 99.15 (-0.04) 99.49 (-0.02) 97.11 (-0.01) 295.75 (-0.03)
5d13a2 103.73 (+0.01) 101.79 (-0.03) 98.30 (-0.05) 303.82 (-0.02)
f7249b 102.67 (+0.02) 104.42 (+0.02) 103.71 (+0.02) 310.80 (+0.02)
306c4f 100.89 (-0.06) 102.41 (-0.05) 101.49 (-0.01) 304.80 (-0.04)
b1a112 107.31 (-0.05) 107.62 (-0.09) 102.86 (-0.13) 317.79 (-0.09)
99c159 113.52 (-0.09) 117.71 (-0.04) 118.80 (-0.05) 350.03 (-0.06)
ea5a97 124.21 (+0.00) 122.72 (-0.02) 125.17 (+0.03) 372.09 (+0.01)
89275f 124.08 (+0.18) 124.91 (+0.14) 121.01 (+0.12) 370.00 (+0.15)
6d33d8 105.13 (-0.01) 109.59 (+0.02) 108.22 (+0.03) 322.94 (+0.01)
a7f4ee 106.04 (-0.06) 106.96 (+0.01) 105.53 (-0.02) 318.54 (-0.02)
6f28da 112.35 105.64 108.10 326.08

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query13-10]

platform: rds-aurora

revision Q13/1 Q13/2 Q13/3 total_duration
baa132 107.25 (+0.19) 101.48 (+0.07) 101.69 (+0.15) 419.02 (+0.53)
d066da 90.46 (+0.02) 95.20 (+0.04) 88.67 (-0.02) 274.33 (+0.01)
0ba4ca 88.86 (-0.25) 91.13 (-0.22) 90.57 (-0.19) 270.55 (-0.22)
e43cde 118.93 (+0.12) 116.99 (+0.13) 112.10 (+0.09) 348.02 (+0.11)
6b1c4c 105.76 (-0.02) 103.28 (+0.00) 103.11 (+0.01) 312.15 (-0.00)
5d13a2 108.16 (+0.06) 102.82 (-0.07) 102.56 (-0.00) 313.55 (-0.01)
f7249b 102.23 (-0.03) 110.98 (+0.07) 102.93 (+0.01) 316.14 (+0.02)
306c4f 105.16 (-0.08) 103.70 (-0.05) 101.60 (-0.06) 310.45 (-0.07)
b1a112 114.78 (-0.03) 109.70 (-0.11) 108.48 (-0.08) 332.96 (-0.07)
99c159 118.37 (-0.08) 122.97 (-0.05) 118.41 (-0.10) 359.75 (-0.08)
ea5a97 129.23 (-0.03) 129.11 (+0.04) 131.20 (-0.01) 389.54 (-0.00)
89275f 133.38 (+0.18) 123.99 (+0.08) 132.20 (+0.16) 389.58 (+0.14)
6d33d8 113.44 (+0.04) 114.70 (+0.02) 114.22 (+0.02) 342.36 (+0.03)
a7f4ee 108.86 (-0.05) 112.10 (+0.02) 111.49 (-0.00) 332.45 (-0.01)
6f28da 115.03 110.17 112.05 337.24

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query14-10]

platform: rds-aurora

revision Q14/1 Q14/2 Q14/3 total_duration
baa132 101.35 (+0.13) 101.33 (+0.14) 103.99 (+0.13) 408.23 (+0.51)
d066da 89.45 (+0.01) 89.00 (+0.02) 92.02 (+0.01) 270.48 (+0.02)
0ba4ca 88.34 (-0.26) 87.12 (-0.21) 90.99 (-0.22) 266.45 (-0.23)
e43cde 119.40 (+0.18) 110.25 (+0.11) 116.48 (+0.15) 346.12 (+0.15)
6b1c4c 101.11 (-0.06) 99.61 (-0.04) 100.91 (+0.01) 301.63 (-0.03)
5d13a2 107.11 (+0.05) 104.23 (-0.01) 100.08 (-0.03) 311.42 (+0.00)
f7249b 101.95 (-0.03) 105.59 (+0.04) 103.40 (+0.03) 310.94 (+0.01)
306c4f 105.58 (-0.02) 101.40 (-0.04) 100.29 (-0.06) 307.28 (-0.04)
b1a112 108.00 (-0.09) 105.87 (-0.12) 107.11 (-0.09) 320.98 (-0.10)
99c159 118.25 (-0.04) 119.67 (-0.04) 118.11 (-0.06) 356.03 (-0.05)
ea5a97 122.96 (-0.01) 125.29 (+0.01) 126.01 (-0.01) 374.26 (-0.00)
89275f 123.69 (+0.12) 124.37 (+0.13) 127.71 (+0.16) 375.78 (+0.14)
6d33d8 110.46 (+0.02) 109.77 (-0.02) 110.03 (+0.02) 330.26 (+0.00)
a7f4ee 108.23 (-0.05) 112.11 (+0.01) 108.31 (+0.01) 328.64 (-0.01)
6f28da 113.74 111.38 107.40 332.52

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query15-10]

platform: rds-aurora

revision Q15/1 Q15/2 Q15/3 total_duration
baa132 27.40 (+0.10) 27.01 (+0.04) 27.96 (+0.11) 116.06 (+0.52)
d066da 24.91 (+0.04) 26.00 (+0.02) 25.22 (+0.03) 76.14 (+0.03)
0ba4ca 23.86 (-0.34) 25.50 (-0.17) 24.56 (-0.23) 73.91 (-0.25)
e43cde 36.17 (+0.36) 30.69 (+0.14) 31.99 (+0.13) 98.85 (+0.21)
6b1c4c 26.61 (-0.07) 26.99 (-0.13) 28.30 (+0.01) 81.91 (-0.07)
5d13a2 28.68 (+0.03) 30.99 (+0.09) 28.11 (-0.03) 87.78 (+0.03)
f7249b 27.83 (-0.02) 28.34 (-0.01) 28.93 (-0.02) 85.11 (-0.01)
306c4f 28.25 (-0.03) 28.50 (-0.00) 29.51 (-0.02) 86.27 (-0.02)
b1a112 29.26 (-0.09) 28.60 (-0.14) 30.21 (-0.12) 88.07 (-0.12)
99c159 32.28 (+0.00) 33.10 (+0.03) 34.19 (+0.02) 99.57 (+0.02)
ea5a97 32.28 (-0.01) 32.10 (+0.03) 33.57 (+0.06) 97.95 (+0.02)
89275f 32.65 (+0.11) 31.22 (+0.07) 31.71 (+0.05) 95.58 (+0.08)
6d33d8 29.43 (-0.05) 29.11 (-0.00) 30.21 (+0.02) 88.76 (-0.01)
a7f4ee 30.82 (-0.03) 29.22 (-0.01) 29.59 (+0.01) 89.64 (-0.01)
6f28da 31.74 29.60 29.20 90.54

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query16-10]

platform: rds-aurora

revision Q16/1 Q16/2 Q16/3 total_duration
baa132 108.10 (+0.11) 100.41 (+0.08) 103.41 (+0.14) 418.69 (+0.49)
d066da 97.35 (+0.03) 92.97 (+0.03) 91.00 (-0.01) 281.33 (+0.02)
0ba4ca 94.88 (-0.24) 89.99 (-0.24) 91.70 (-0.20) 276.58 (-0.23)
e43cde 124.12 (+0.10) 119.18 (+0.16) 113.92 (+0.10) 357.23 (+0.12)
6b1c4c 112.61 (+0.00) 102.90 (+0.01) 103.71 (-0.04) 319.22 (-0.01)
5d13a2 112.17 (-0.02) 101.49 (-0.04) 107.48 (+0.03) 321.15 (-0.01)
f7249b 114.46 (+0.00) 106.22 (+0.01) 103.88 (+0.00) 324.56 (+0.00)
306c4f 114.31 (-0.03) 105.00 (-0.03) 103.80 (-0.09) 323.11 (-0.05)
b1a112 117.52 (-0.05) 107.83 (-0.09) 113.86 (-0.07) 339.21 (-0.07)
99c159 124.21 (-0.11) 119.10 (-0.08) 121.83 (-0.07) 365.14 (-0.08)
ea5a97 138.95 (+0.02) 128.84 (+0.02) 130.57 (+0.03) 398.37 (+0.02)
89275f 136.63 (+0.12) 126.50 (+0.11) 126.82 (+0.13) 389.95 (+0.12)
6d33d8 121.55 (+0.06) 114.38 (+0.06) 112.14 (+0.01) 348.07 (+0.04)
a7f4ee 115.18 (-0.02) 107.93 (-0.09) 111.10 (-0.01) 334.22 (-0.04)
6f28da 117.76 118.77 111.84 348.37

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query17-10]

platform: rds-aurora

revision Q17/1 Q17/2 Q17/3 total_duration
baa132 95.44 (+0.10) 100.78 (+0.09) 99.23 (+0.16) 393.68 (+0.48)
d066da 86.78 (+0.02) 92.71 (+0.08) 85.70 (-0.02) 265.19 (+0.03)
0ba4ca 84.87 (-0.20) 85.90 (-0.26) 87.08 (-0.19) 257.85 (-0.22)
e43cde 106.41 (+0.10) 115.83 (+0.21) 108.17 (+0.08) 330.41 (+0.13)
6b1c4c 96.74 (-0.03) 96.02 (-0.02) 99.89 (-0.06) 292.64 (-0.04)
5d13a2 99.67 (-0.05) 98.17 (-0.00) 105.71 (+0.06) 303.54 (+0.00)
f7249b 104.97 (+0.07) 98.22 (-0.01) 100.17 (-0.01) 303.37 (+0.02)
306c4f 98.53 (-0.04) 98.72 (-0.04) 101.31 (-0.01) 298.56 (-0.03)
b1a112 102.26 (-0.09) 102.89 (-0.11) 102.73 (-0.12) 307.88 (-0.10)
99c159 112.06 (-0.08) 115.01 (-0.04) 116.68 (-0.06) 343.75 (-0.06)
ea5a97 121.24 (-0.01) 119.80 (+0.00) 124.30 (+0.01) 365.34 (+0.00)
89275f 122.47 (+0.15) 119.26 (+0.14) 122.69 (+0.12) 364.43 (+0.14)
6d33d8 106.47 (+0.03) 104.90 (+0.00) 109.42 (+0.05) 320.79 (+0.03)
a7f4ee 103.83 (-0.04) 104.47 (-0.03) 104.65 (-0.01) 312.95 (-0.03)
6f28da 108.41 107.63 106.07 322.12

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query18-10]

platform: rds-aurora

revision Q18/1 Q18/2 Q18/3 total_duration
baa132 132.35 (+0.15) 127.90 (+0.08) 129.61 (+0.13) 528.02 (+0.51)
d066da 115.33 (-0.00) 118.88 (+0.05) 114.49 (-0.03) 348.70 (+0.00)
0ba4ca 115.58 (-0.22) 113.39 (-0.21) 118.18 (-0.21) 347.14 (-0.21)
e43cde 148.01 (+0.15) 143.52 (+0.11) 148.98 (+0.11) 440.51 (+0.12)
6b1c4c 128.85 (+0.00) 128.86 (-0.05) 134.23 (+0.03) 391.95 (-0.01)
5d13a2 128.73 (-0.06) 135.09 (+0.03) 130.21 (-0.06) 394.03 (-0.03)
f7249b 136.36 (+0.06) 131.08 (-0.02) 138.79 (+0.07) 406.24 (+0.04)
306c4f 129.18 (-0.06) 133.30 (-0.04) 129.84 (-0.03) 392.33 (-0.04)
b1a112 137.20 (-0.09) 138.60 (-0.09) 133.69 (-0.12) 409.50 (-0.10)
99c159 150.50 (-0.05) 152.39 (-0.07) 151.12 (-0.06) 454.01 (-0.06)
ea5a97 158.44 (+0.02) 164.58 (+0.01) 161.20 (+0.05) 484.23 (+0.02)
89275f 155.47 (+0.10) 163.41 (+0.14) 153.69 (+0.09) 472.57 (+0.11)
6d33d8 141.37 (+0.03) 143.28 (+0.04) 141.51 (+0.04) 426.16 (+0.04)
a7f4ee 137.42 (+0.01) 137.81 (-0.04) 136.37 (-0.03) 411.61 (-0.02)
6f28da 136.66 144.16 140.30 421.11

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query19-10]

platform: rds-aurora

revision Q19/1 Q19/2 Q19/3 total_duration
baa132 107.55 (+0.12) 102.02 (+0.10) 98.81 (+0.06) 404.03 (+0.44)
d066da 95.90 (+0.01) 92.51 (+0.00) 92.82 (+0.01) 281.23 (+0.01)
0ba4ca 95.30 (-0.12) 92.15 (-0.11) 92.33 (-0.16) 279.78 (-0.13)
e43cde 108.74 (+0.11) 103.27 (+0.07) 109.34 (+0.12) 321.36 (+0.10)
6b1c4c 98.23 (-0.00) 96.91 (-0.04) 97.52 (-0.01) 292.65 (-0.02)
5d13a2 98.35 (+0.00) 101.18 (+0.02) 98.84 (-0.01) 298.37 (+0.00)
f7249b 98.15 (-0.01) 99.23 (-0.00) 99.59 (+0.04) 296.98 (+0.01)
306c4f 99.22 (-0.15) 99.43 (-0.09) 96.21 (-0.09) 294.86 (-0.11)
b1a112 117.30 (-0.02) 109.83 (-0.03) 105.70 (-0.06) 332.84 (-0.04)
99c159 119.46 (-0.01) 112.69 (-0.01) 112.90 (-0.02) 345.05 (-0.02)
ea5a97 120.74 (-0.03) 113.94 (-0.02) 115.65 (+0.01) 350.33 (-0.01)
89275f 124.11 (+0.11) 115.86 (+0.07) 114.86 (+0.11) 354.83 (+0.10)
6d33d8 111.97 (+0.04) 107.84 (+0.02) 103.90 (+0.01) 323.71 (+0.02)
a7f4ee 107.75 (-0.08) 106.19 (-0.02) 103.23 (-0.11) 317.17 (-0.07)
6f28da 116.54 108.83 115.48 340.85

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query20-10]

platform: rds-aurora

revision Q20/1 Q20/2 Q20/3 total_duration
baa132 77.66 (+0.10) 80.57 (+0.17) 74.20 (+0.08) 308.83 (+0.48)
d066da 70.40 (+0.03) 68.91 (+0.04) 68.79 (+0.01) 208.10 (+0.03)
0ba4ca 68.30 (-0.25) 66.11 (-0.22) 68.01 (-0.19) 202.42 (-0.22)
e43cde 90.61 (+0.19) 84.58 (+0.09) 83.73 (+0.08) 258.93 (+0.12)
6b1c4c 76.46 (-0.03) 77.29 (-0.08) 77.81 (-0.02) 231.57 (-0.04)
5d13a2 79.07 (-0.01) 84.00 (+0.10) 79.01 (-0.06) 242.09 (+0.01)
f7249b 79.73 (-0.01) 76.61 (+0.01) 84.09 (+0.04) 240.44 (+0.01)
306c4f 80.14 (-0.05) 76.22 (-0.13) 81.12 (+0.00) 237.47 (-0.06)
b1a112 83.93 (-0.08) 87.49 (-0.01) 80.90 (-0.12) 252.32 (-0.07)
99c159 91.61 (-0.07) 88.19 (-0.06) 91.52 (-0.06) 271.33 (-0.06)
ea5a97 98.49 (-0.00) 94.31 (+0.02) 97.01 (+0.02) 289.81 (+0.01)
89275f 98.97 (+0.13) 92.78 (+0.08) 95.52 (+0.13) 287.27 (+0.11)
6d33d8 87.61 (+0.05) 86.10 (+0.01) 84.39 (+0.03) 258.10 (+0.03)
a7f4ee 83.61 (-0.03) 85.50 (-0.00) 82.29 (-0.04) 251.39 (-0.03)
6f28da 86.57 85.89 85.42 257.87

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query21-10]

platform: rds-aurora

revision Q21/1 Q21/2 Q21/3 total_duration
baa132 79.08 (+0.12) 79.46 (+0.15) 79.61 (+0.13) 319.54 (+0.52)
d066da 70.37 (+0.00) 69.29 (-0.05) 70.30 (+0.02) 209.96 (-0.01)
0ba4ca 70.12 (-0.23) 72.69 (-0.18) 69.19 (-0.22) 212.01 (-0.21)
e43cde 91.22 (+0.17) 88.18 (+0.09) 88.40 (+0.14) 267.81 (+0.13)
6b1c4c 77.85 (-0.06) 81.00 (-0.00) 77.60 (-0.10) 236.45 (-0.05)
5d13a2 82.65 (-0.01) 81.27 (+0.01) 85.92 (+0.04) 249.85 (+0.01)
f7249b 83.20 (+0.03) 80.74 (+0.02) 82.78 (-0.03) 246.72 (+0.01)
306c4f 81.13 (-0.05) 79.10 (-0.09) 84.98 (-0.01) 245.22 (-0.05)
b1a112 85.40 (-0.10) 87.33 (-0.05) 85.58 (-0.06) 258.31 (-0.07)
99c159 95.16 (-0.04) 91.70 (-0.07) 90.88 (-0.12) 277.74 (-0.08)
ea5a97 99.53 (-0.03) 98.70 (+0.03) 103.68 (+0.03) 301.91 (+0.01)
89275f 102.41 (+0.17) 95.42 (+0.05) 101.01 (+0.15) 298.83 (+0.12)
6d33d8 87.36 (+0.05) 91.21 (+0.08) 88.10 (+0.03) 266.67 (+0.05)
a7f4ee 83.58 (-0.09) 84.68 (-0.03) 85.71 (-0.04) 253.98 (-0.05)
6f28da 91.53 87.41 89.00 267.94

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query22-10]

platform: rds-aurora

revision Q22/1 Q22/2 Q22/3 total_duration
baa132 85.12 (+0.13) 80.98 (+0.13) 81.53 (+0.14) 331.04 (+0.52)
d066da 75.09 (+0.04) 71.80 (-0.05) 71.40 (-0.03) 218.29 (-0.01)
0ba4ca 72.54 (-0.23) 75.28 (-0.18) 73.70 (-0.19) 221.53 (-0.20)
e43cde 94.78 (+0.12) 91.70 (+0.10) 91.09 (+0.08) 277.57 (+0.10)
6b1c4c 84.88 (+0.02) 83.10 (-0.01) 84.07 (-0.04) 252.06 (-0.01)
5d13a2 83.03 (-0.05) 83.79 (-0.03) 87.20 (+0.03) 254.03 (-0.02)
f7249b 87.82 (+0.01) 86.49 (+0.03) 84.82 (+0.01) 259.13 (+0.02)
306c4f 87.35 (-0.04) 83.60 (-0.07) 84.29 (-0.07) 255.24 (-0.06)
b1a112 91.25 (-0.06) 89.68 (-0.05) 90.92 (-0.05) 271.85 (-0.05)
99c159 97.38 (-0.05) 94.52 (-0.05) 95.38 (-0.10) 287.27 (-0.07)
ea5a97 102.93 (-0.03) 99.61 (+0.02) 106.37 (+0.04) 308.92 (+0.01)
89275f 105.73 (+0.18) 97.98 (+0.04) 102.69 (+0.11) 306.41 (+0.11)
6d33d8 89.36 (+0.02) 93.89 (+0.08) 92.29 (+0.03) 275.54 (+0.04)
a7f4ee 87.83 (-0.05) 86.97 (-0.04) 89.43 (-0.04) 264.24 (-0.04)
6f28da 92.07 90.69 92.81 275.57

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query23-10]

platform: rds-aurora

revision Q23/1 Q23/2 Q23/3 total_duration
baa132 75.49 (+0.09) 76.61 (+0.10) 75.27 (+0.11) 304.08 (+0.48)
d066da 69.18 (+0.01) 69.43 (+0.07) 67.52 (-0.01) 206.13 (+0.02)
0ba4ca 68.21 (-0.25) 65.14 (-0.25) 68.19 (-0.18) 201.54 (-0.23)
e43cde 91.32 (+0.21) 86.54 (+0.05) 82.87 (+0.04) 260.73 (+0.10)
6b1c4c 75.74 (-0.03) 82.10 (+0.05) 79.40 (+0.01) 237.24 (+0.01)
5d13a2 77.81 (-0.09) 77.88 (-0.02) 78.92 (+0.00) 234.62 (-0.04)
f7249b 85.92 (+0.10) 79.32 (+0.01) 78.88 (+0.04) 244.13 (+0.05)
306c4f 78.20 (-0.05) 78.71 (-0.08) 76.12 (-0.09) 233.03 (-0.07)
b1a112 81.90 (-0.09) 85.10 (-0.04) 83.70 (-0.05) 250.70 (-0.06)
99c159 90.16 (-0.06) 88.88 (-0.05) 87.92 (-0.14) 266.96 (-0.08)
ea5a97 95.59 (-0.01) 93.10 (-0.00) 102.40 (+0.08) 291.09 (+0.02)
89275f 96.32 (+0.13) 93.11 (+0.09) 94.99 (+0.12) 284.42 (+0.12)
6d33d8 85.03 (+0.02) 85.19 (+0.04) 84.71 (+0.01) 254.93 (+0.02)
a7f4ee 83.21 (-0.05) 81.71 (-0.04) 83.89 (+0.05) 248.81 (-0.02)
6f28da 87.62 84.89 80.24 252.75

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query24-10]

platform: rds-aurora

revision Q24/1 Q24/2 Q24/3 total_duration
baa132 77.28 (+0.10) 76.90 (+0.10) 78.73 (+0.15) 308.21 (+0.48)
d066da 70.36 (+0.01) 69.68 (+0.02) 68.51 (+0.03) 208.55 (+0.02)
0ba4ca 69.37 (-0.17) 68.51 (-0.25) 66.79 (-0.23) 204.67 (-0.22)
e43cde 83.33 (+0.14) 90.88 (+0.12) 86.91 (+0.12) 261.12 (+0.13)
6b1c4c 73.06 (-0.13) 81.21 (+0.04) 77.69 (-0.04) 231.96 (-0.05)
5d13a2 84.40 (+0.07) 77.73 (-0.05) 81.20 (+0.01) 243.34 (+0.01)
f7249b 78.69 (-0.02) 81.67 (+0.02) 80.00 (+0.03) 240.36 (+0.01)
306c4f 80.06 (+0.00) 80.09 (-0.06) 77.61 (-0.08) 237.76 (-0.05)
b1a112 79.92 (-0.13) 85.58 (-0.06) 84.13 (-0.05) 249.64 (-0.08)
99c159 91.45 (-0.04) 90.73 (-0.08) 88.77 (-0.11) 270.96 (-0.08)
ea5a97 95.60 (-0.00) 98.97 (+0.05) 99.32 (+0.00) 293.90 (+0.02)
89275f 95.97 (+0.14) 94.22 (+0.13) 98.89 (+0.15) 289.08 (+0.14)
6d33d8 84.54 (+0.03) 83.58 (+0.00) 86.22 (+0.04) 254.35 (+0.02)
a7f4ee 81.93 (-0.04) 83.39 (-0.04) 83.18 (-0.03) 248.51 (-0.04)
6f28da 85.12 86.87 85.71 257.70

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query25-10]

platform: rds-aurora

revision Q25/1 Q25/2 Q25/3 total_duration
baa132 81.33 (+0.14) 75.00 (+0.10) 76.98 (+0.12) 311.93 (+0.49)
d066da 71.27 (+0.06) 68.42 (+0.01) 69.00 (-0.02) 208.68 (+0.01)
0ba4ca 67.55 (-0.22) 67.90 (-0.25) 70.42 (-0.20) 205.88 (-0.23)
e43cde 86.95 (+0.14) 90.52 (+0.17) 88.48 (+0.11) 265.95 (+0.14)
6b1c4c 76.53 (-0.05) 77.59 (-0.06) 79.61 (-0.03) 233.73 (-0.04)
5d13a2 80.21 (+0.01) 82.19 (+0.05) 82.33 (-0.02) 244.74 (+0.01)
f7249b 79.26 (-0.00) 78.59 (-0.03) 83.73 (+0.03) 241.58 (-0.00)
306c4f 79.44 (-0.09) 81.28 (-0.02) 80.91 (-0.10) 241.64 (-0.07)
b1a112 87.41 (-0.04) 83.09 (-0.09) 90.07 (-0.00) 260.58 (-0.05)
99c159 91.05 (-0.08) 91.41 (-0.04) 90.50 (-0.10) 272.97 (-0.07)
ea5a97 99.11 (+0.00) 95.41 (+0.01) 100.28 (+0.03) 294.80 (+0.01)
89275f 99.04 (+0.10) 94.58 (+0.11) 97.63 (+0.10) 291.25 (+0.11)
6d33d8 89.67 (+0.06) 85.19 (+0.02) 88.71 (+0.10) 263.57 (+0.06)
a7f4ee 84.76 (-0.00) 83.72 (-0.06) 80.90 (-0.06) 249.39 (-0.04)
6f28da 85.08 88.62 86.20 259.91

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query26-10]

platform: rds-aurora

revision Q26/1 Q26/2 Q26/3 total_duration
baa132 77.82 (+0.12) 75.29 (+0.08) 76.71 (+0.14) 310.71 (+0.50)
d066da 69.56 (+0.03) 69.78 (+0.04) 67.31 (-0.05) 206.65 (+0.01)
0ba4ca 67.85 (-0.20) 67.07 (-0.28) 70.64 (-0.19) 205.56 (-0.22)
e43cde 84.82 (+0.10) 92.98 (+0.25) 86.89 (+0.14) 264.69 (+0.16)
6b1c4c 77.42 (-0.04) 74.52 (-0.04) 76.50 (-0.06) 228.43 (-0.05)
5d13a2 80.76 (+0.00) 77.90 (+0.02) 81.60 (-0.04) 240.26 (-0.00)
f7249b 80.54 (+0.02) 76.02 (-0.03) 84.68 (+0.05) 241.24 (+0.01)
306c4f 79.12 (-0.07) 78.61 (-0.03) 80.30 (-0.05) 238.03 (-0.05)
b1a112 85.47 (-0.05) 80.69 (-0.15) 84.63 (-0.07) 250.79 (-0.09)
99c159 90.34 (-0.08) 94.82 (-0.01) 90.98 (-0.09) 276.14 (-0.06)
ea5a97 98.43 (+0.01) 95.57 (+0.02) 100.30 (+0.08) 294.30 (+0.03)
89275f 97.91 (+0.12) 93.60 (+0.06) 93.09 (+0.14) 284.61 (+0.11)
6d33d8 87.45 (+0.06) 87.98 (+0.02) 81.72 (-0.02) 257.16 (+0.02)
a7f4ee 82.35 (-0.06) 86.17 (+0.04) 83.12 (-0.05) 251.64 (-0.03)
6f28da 87.85 82.79 87.70 258.34

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query27-10]

platform: rds-aurora

revision Q27/1 Q27/2 Q27/3 total_duration
baa132 80.91 (+0.09) 84.10 (+0.12) 83.21 (+0.09) 334.31 (+0.48)
d066da 74.21 (+0.01) 75.41 (+0.06) 76.12 (+0.03) 225.75 (+0.03)
0ba4ca 73.55 (-0.19) 71.20 (-0.23) 73.93 (-0.22) 218.68 (-0.22)
e43cde 91.14 (+0.03) 92.57 (+0.11) 95.30 (+0.19) 279.01 (+0.11)
6b1c4c 88.74 (+0.03) 83.12 (-0.02) 80.41 (-0.12) 252.27 (-0.04)
5d13a2 85.74 (-0.01) 84.73 (+0.00) 91.28 (+0.10) 261.75 (+0.03)
f7249b 86.26 (+0.04) 84.49 (+0.02) 82.98 (-0.01) 253.74 (+0.01)
306c4f 83.23 (-0.07) 83.20 (-0.09) 84.22 (-0.03) 250.65 (-0.06)
b1a112 89.25 (-0.05) 91.07 (-0.08) 86.92 (-0.09) 267.25 (-0.07)
99c159 93.77 (-0.10) 99.13 (-0.05) 95.87 (-0.11) 288.77 (-0.09)
ea5a97 103.72 (-0.02) 103.88 (+0.03) 108.03 (+0.08) 315.63 (+0.03)
89275f 105.93 (+0.14) 100.37 (+0.08) 100.40 (+0.13) 306.71 (+0.12)
6d33d8 92.61 (+0.02) 92.61 (+0.02) 89.19 (-0.01) 274.41 (+0.01)
a7f4ee 91.07 (-0.01) 90.59 (+0.02) 90.28 (-0.02) 271.94 (-0.01)
6f28da 92.36 89.19 92.10 273.65

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query28-10]

platform: rds-aurora

revision Q28/1 Q28/2 Q28/3 total_duration
baa132 291.64 (+0.13) 290.70 (+0.12) 290.76 (+0.12) 1167.33 (+0.50)
d066da 257.05 (+0.01) 260.49 (+0.03) 259.93 (+0.02) 777.47 (+0.02)
0ba4ca 253.57 (-0.21) 253.89 (-0.22) 255.18 (-0.21) 762.64 (-0.21)
e43cde 322.55 (+0.12) 325.30 (+0.13) 322.32 (+0.10) 970.16 (+0.12)
6b1c4c 287.96 (-0.01) 287.58 (-0.00) 291.74 (+0.01) 867.28 (+0.00)
5d13a2 289.47 (+0.00) 288.79 (-0.01) 288.50 (-0.02) 866.76 (-0.01)
f7249b 288.13 (+0.00) 293.09 (+0.02) 293.42 (+0.02) 874.64 (+0.01)
306c4f 287.92 (-0.05) 287.94 (-0.05) 286.76 (-0.05) 862.62 (-0.05)
b1a112 303.25 (-0.09) 303.30 (-0.09) 300.61 (-0.10) 907.17 (-0.10)
99c159 333.61 (-0.04) 332.93 (-0.05) 335.88 (-0.03) 1002.41 (-0.04)
ea5a97 347.53 (+0.01) 352.30 (+0.03) 345.49 (-0.01) 1045.33 (+0.01)
89275f 343.32 (+0.12) 341.52 (+0.11) 348.18 (+0.13) 1033.02 (+0.12)
6d33d8 307.04 (+0.02) 307.09 (+0.02) 309.06 (+0.02) 923.20 (+0.02)
a7f4ee 299.99 (-0.04) 299.78 (-0.04) 303.62 (-0.02) 903.38 (-0.03)
6f28da 311.92 312.80 310.81 935.54

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query29-10]

platform: rds-aurora

revision Q29/1 Q29/2 Q29/3 total_duration
baa132 119.35 (+0.09) 118.48 (+0.11) 121.60 (+0.13) 480.63 (+0.48)
d066da 109.64 (+0.04) 106.79 (+0.02) 107.81 (-0.01) 324.23 (+0.02)
0ba4ca 105.56 (-0.19) 104.31 (-0.23) 109.01 (-0.19) 318.88 (-0.20)
e43cde 129.73 (+0.07) 134.77 (+0.10) 133.82 (+0.10) 398.33 (+0.09)
6b1c4c 120.91 (-0.03) 122.70 (+0.01) 121.41 (-0.02) 365.02 (-0.01)
5d13a2 124.29 (+0.00) 121.30 (-0.01) 124.40 (-0.01) 369.99 (-0.01)
f7249b 124.21 (+0.02) 122.43 (+0.02) 125.57 (+0.03) 372.21 (+0.02)
306c4f 121.40 (-0.09) 120.19 (-0.06) 121.62 (-0.07) 363.21 (-0.07)
b1a112 133.90 (-0.05) 128.03 (-0.06) 130.37 (-0.09) 392.30 (-0.07)
99c159 140.99 (-0.04) 136.60 (-0.07) 143.62 (-0.03) 421.21 (-0.05)
ea5a97 146.20 (+0.04) 147.53 (-0.02) 148.71 (+0.04) 442.44 (+0.02)
89275f 139.98 (+0.05) 149.89 (+0.15) 142.71 (+0.07) 432.58 (+0.09)
6d33d8 133.36 (+0.05) 130.91 (+0.01) 133.91 (+0.06) 398.18 (+0.04)
a7f4ee 126.52 (-0.01) 129.59 (-0.02) 126.02 (-0.05) 382.13 (-0.03)
6f28da 128.26 132.79 132.08 393.13

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query30-10]

platform: rds-aurora

revision Q30/1 Q30/2 Q30/3 total_duration
baa132 82.09 (+0.18) 79.28 (+0.16) 76.78 (+0.15) 316.09 (+0.54)
d066da 69.80 (+0.05) 68.35 (+0.04) 66.60 (-0.03) 204.76 (+0.02)
0ba4ca 66.43 (-0.29) 65.93 (-0.28) 68.38 (-0.21) 200.74 (-0.26)
e43cde 94.03 (+0.14) 91.19 (+0.16) 86.59 (+0.13) 271.81 (+0.14)
6b1c4c 82.41 (+0.02) 78.39 (+0.01) 76.65 (-0.06) 237.45 (-0.01)
5d13a2 80.97 (-0.00) 77.67 (-0.02) 81.89 (+0.05) 240.54 (+0.01)
f7249b 81.04 (+0.02) 79.63 (+0.02) 77.91 (+0.01) 238.58 (+0.01)
306c4f 79.59 (-0.06) 78.39 (-0.06) 77.38 (-0.07) 235.36 (-0.06)
b1a112 84.24 (-0.07) 82.98 (-0.09) 82.78 (-0.12) 250.00 (-0.09)
99c159 90.33 (-0.05) 91.21 (-0.05) 93.54 (-0.08) 275.08 (-0.06)
ea5a97 95.23 (-0.01) 95.85 (-0.02) 101.26 (+0.09) 292.34 (+0.02)
89275f 96.45 (+0.13) 97.82 (+0.17) 93.08 (+0.07) 287.36 (+0.12)
6d33d8 85.01 (+0.01) 83.73 (+0.01) 87.29 (+0.04) 256.03 (+0.02)
a7f4ee 84.25 (-0.04) 83.17 (-0.05) 83.85 (-0.01) 251.27 (-0.03)
6f28da 88.08 87.20 84.77 260.06

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query31-10]

platform: rds-aurora

revision Q31/1 Q31/2 Q31/3 total_duration
baa132 81.66 (+0.15) 80.50 (+0.19) 77.66 (+0.10) 319.47 (+0.53)
d066da 70.86 (+0.03) 67.60 (+0.00) 70.91 (+0.05) 209.37 (+0.03)
0ba4ca 69.09 (-0.26) 67.27 (-0.23) 67.21 (-0.25) 203.58 (-0.25)
e43cde 93.68 (+0.17) 87.78 (+0.00) 90.11 (+0.11) 271.57 (+0.09)
6b1c4c 80.05 (-0.01) 87.69 (+0.11) 81.42 (+0.04) 249.16 (+0.04)
5d13a2 81.10 (-0.04) 79.05 (-0.05) 78.38 (-0.02) 238.52 (-0.04)
f7249b 84.65 (+0.05) 83.53 (+0.04) 79.62 (-0.02) 247.80 (+0.02)
306c4f 80.83 (-0.04) 79.98 (-0.04) 81.30 (-0.03) 242.11 (-0.04)
b1a112 84.08 (-0.10) 83.71 (-0.06) 83.57 (-0.11) 251.36 (-0.09)
99c159 93.26 (-0.04) 89.06 (-0.09) 93.70 (-0.06) 276.02 (-0.06)
ea5a97 97.07 (+0.00) 98.12 (-0.01) 99.99 (+0.04) 295.18 (+0.01)
89275f 97.04 (+0.09) 99.29 (+0.15) 95.73 (+0.12) 292.07 (+0.12)
6d33d8 89.10 (+0.03) 85.97 (-0.04) 85.58 (-0.01) 260.65 (-0.00)
a7f4ee 86.13 (+0.03) 89.19 (+0.02) 86.09 (-0.03) 261.42 (+0.01)
6f28da 83.45 87.68 88.87 260.00

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query32-10]

platform: rds-aurora

revision Q32/1 Q32/2 Q32/3 total_duration
baa132 112.57 (+0.14) 112.09 (+0.13) 115.35 (+0.15) 458.94 (+0.54)
d066da 99.03 (-0.02) 98.99 (+0.01) 100.49 (+0.04) 298.51 (+0.01)
0ba4ca 100.81 (-0.22) 98.34 (-0.22) 96.36 (-0.25) 295.51 (-0.23)
e43cde 129.78 (+0.17) 126.65 (+0.08) 127.71 (+0.11) 384.15 (+0.12)
6b1c4c 110.93 (-0.07) 117.27 (+0.03) 114.93 (-0.00) 343.14 (-0.01)
5d13a2 119.36 (+0.01) 113.54 (-0.02) 115.14 (-0.00) 348.04 (-0.00)
f7249b 117.80 (+0.06) 115.53 (+0.00) 115.29 (+0.02) 348.62 (+0.03)
306c4f 111.55 (-0.07) 115.09 (-0.05) 112.62 (-0.07) 339.26 (-0.06)
b1a112 120.18 (-0.07) 120.99 (-0.08) 121.30 (-0.10) 362.47 (-0.08)
99c159 128.57 (-0.08) 131.56 (-0.05) 135.49 (-0.03) 395.62 (-0.05)
ea5a97 139.73 (+0.02) 138.41 (+0.02) 139.88 (+0.04) 418.02 (+0.03)
89275f 137.01 (+0.09) 135.93 (+0.13) 133.89 (+0.07) 406.83 (+0.09)
6d33d8 126.25 (+0.07) 120.65 (-0.02) 124.87 (+0.06) 371.78 (+0.04)
a7f4ee 118.54 (-0.01) 122.62 (-0.00) 118.03 (-0.07) 359.19 (-0.03)
6f28da 119.71 123.15 126.60 369.47

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query33-10]

platform: rds-aurora

revision Q33/1 Q33/2 Q33/3 total_duration
baa132 256.98 (+0.10) 264.16 (+0.14) 259.61 (+0.12) 1047.05 (+0.50)
d066da 233.36 (+0.03) 232.11 (+0.03) 232.21 (+0.02) 697.68 (+0.03)
0ba4ca 226.98 (-0.22) 225.00 (-0.23) 226.80 (-0.23) 678.78 (-0.23)
e43cde 291.06 (+0.11) 293.52 (+0.11) 293.72 (+0.12) 878.31 (+0.11)
6b1c4c 262.70 (+0.02) 265.23 (+0.02) 262.67 (-0.01) 790.61 (+0.01)
5d13a2 256.73 (-0.04) 261.01 (-0.03) 264.84 (+0.00) 782.59 (-0.02)
f7249b 267.46 (+0.03) 269.22 (+0.04) 264.80 (+0.01) 801.48 (+0.03)
306c4f 260.52 (-0.07) 259.06 (-0.03) 262.03 (-0.04) 781.61 (-0.05)
b1a112 280.47 (-0.07) 268.07 (-0.13) 274.13 (-0.10) 822.67 (-0.10)
99c159 302.20 (-0.04) 306.39 (-0.02) 303.11 (-0.03) 911.69 (-0.03)
ea5a97 314.32 (+0.01) 314.10 (-0.00) 312.51 (-0.02) 940.92 (-0.00)
89275f 311.55 (+0.12) 315.08 (+0.14) 317.93 (+0.13) 944.57 (+0.13)
6d33d8 279.06 (+0.04) 276.49 (+0.01) 281.92 (+0.03) 837.47 (+0.03)
a7f4ee 268.49 (-0.04) 273.30 (-0.01) 272.89 (-0.02) 814.69 (-0.02)
6f28da 279.01 276.34 279.08 834.42

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query34-10]

platform: rds-aurora

revision Q34/1 Q34/2 Q34/3 total_duration
baa132 264.36 (+0.14) 259.48 (+0.09) 265.73 (+0.14) 1059.54 (+0.51)
d066da 232.54 (+0.02) 237.39 (+0.03) 233.38 (+0.01) 703.31 (+0.02)
0ba4ca 228.69 (-0.24) 230.06 (-0.22) 230.63 (-0.22) 689.37 (-0.23)
e43cde 300.22 (+0.12) 296.18 (+0.12) 295.92 (+0.11) 892.32 (+0.11)
6b1c4c 268.35 (+0.03) 265.61 (-0.00) 267.79 (+0.01) 801.76 (+0.01)
5d13a2 260.37 (-0.03) 266.22 (-0.02) 266.28 (-0.01) 792.87 (-0.02)
f7249b 269.01 (+0.01) 272.00 (+0.03) 269.31 (+0.04) 810.32 (+0.03)
306c4f 265.84 (-0.04) 263.68 (-0.04) 259.61 (-0.06) 789.14 (-0.05)
b1a112 277.44 (-0.08) 275.39 (-0.09) 276.34 (-0.10) 829.17 (-0.09)
99c159 302.73 (-0.06) 302.08 (-0.04) 306.83 (-0.03) 911.65 (-0.04)
ea5a97 320.64 (+0.01) 316.29 (+0.00) 316.03 (+0.01) 952.95 (+0.01)
89275f 316.17 (+0.12) 315.49 (+0.13) 313.82 (+0.10) 945.48 (+0.12)
6d33d8 282.74 (+0.02) 279.89 (+0.01) 284.11 (+0.03) 846.74 (+0.02)
a7f4ee 277.21 (-0.02) 277.61 (-0.01) 276.95 (-0.00) 831.76 (-0.01)
6f28da 281.65 280.52 277.39 839.57

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query35-10]

platform: rds-aurora

revision Q35/1 Q35/2 Q35/3 total_duration
baa132 94.36 (+0.08) 92.55 (+0.11) 94.78 (+0.15) 376.26 (+0.48)
d066da 87.19 (+0.04) 83.59 (+0.04) 82.62 (+0.01) 253.39 (+0.03)
0ba4ca 83.92 (-0.27) 80.69 (-0.21) 81.82 (-0.22) 246.44 (-0.23)
e43cde 114.94 (+0.13) 101.50 (+0.09) 105.57 (+0.15) 322.01 (+0.12)
6b1c4c 101.95 (+0.06) 92.90 (-0.01) 91.60 (-0.06) 286.45 (-0.00)
5d13a2 95.90 (-0.03) 94.11 (-0.01) 97.31 (-0.03) 287.33 (-0.02)
f7249b 98.87 (-0.04) 95.11 (+0.00) 100.52 (+0.05) 294.50 (+0.00)
306c4f 102.57 (-0.04) 95.10 (-0.05) 95.39 (-0.06) 293.05 (-0.05)
b1a112 106.51 (-0.05) 100.14 (-0.10) 101.99 (-0.04) 308.64 (-0.06)
99c159 112.41 (-0.09) 110.91 (-0.04) 106.62 (-0.06) 329.94 (-0.06)
ea5a97 123.33 (+0.08) 115.15 (-0.03) 113.82 (-0.03) 352.31 (+0.01)
89275f 114.70 (+0.09) 118.80 (+0.14) 117.01 (+0.18) 350.51 (+0.13)
6d33d8 105.33 (+0.03) 104.22 (+0.04) 99.27 (-0.00) 308.82 (+0.02)
a7f4ee 102.67 (-0.01) 99.80 (-0.01) 99.41 (-0.06) 301.89 (-0.03)
6f28da 103.96 100.70 105.91 310.57

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query36-10]

platform: rds-aurora

revision Q36/1 Q36/2 Q36/3 total_duration
baa132 38.40 (+0.22) 32.87 (+0.11) 29.32 (+0.26) 134.38 (+0.59)
d066da 31.55 (-0.05) 29.71 (+0.06) 23.29 (-0.09) 84.55 (-0.03)
0ba4ca 33.33 (-0.19) 28.02 (-0.20) 25.49 (-0.27) 86.84 (-0.22)
e43cde 41.23 (+0.14) 34.91 (-0.03) 34.90 (+0.29) 111.05 (+0.12)
6b1c4c 36.05 (+0.02) 35.91 (+0.11) 27.08 (-0.08) 99.05 (+0.02)
5d13a2 35.46 (+0.00) 32.38 (-0.01) 29.31 (+0.01) 97.15 (-0.00)
f7249b 35.43 (-0.06) 32.87 (-0.05) 29.03 (+0.06) 97.33 (-0.02)
306c4f 37.78 (+0.02) 34.69 (+0.05) 27.31 (-0.12) 99.77 (-0.01)
b1a112 37.06 (-0.10) 33.01 (-0.14) 31.19 (-0.01) 101.26 (-0.09)
99c159 41.16 (-0.10) 38.58 (-0.04) 31.63 (-0.13) 111.37 (-0.09)
ea5a97 45.79 (+0.12) 40.39 (-0.02) 36.38 (+0.03) 122.56 (+0.04)
89275f 41.01 (+0.06) 41.39 (+0.16) 35.41 (+0.15) 117.81 (+0.12)
6d33d8 38.60 (+0.04) 35.59 (+0.04) 30.89 (+0.03) 105.08 (+0.04)
a7f4ee 37.01 (-0.01) 34.09 (-0.02) 29.90 (-0.03) 101.00 (-0.02)
6f28da 37.32 34.74 30.97 103.03

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query37-10]

platform: rds-aurora

revision Q37/1 Q37/2 Q37/3 total_duration
baa132 17.85 (+0.01) 14.01 (-0.12) 19.50 (+0.59) 64.33 (+0.40)
d066da 17.70 (+0.16) 15.91 (+0.14) 12.27 (-0.08) 45.88 (+0.08)
0ba4ca 15.25 (-0.23) 13.90 (-0.37) 13.37 (-0.10) 42.53 (-0.25)
e43cde 19.74 (+0.10) 21.99 (+0.26) 14.80 (+0.01) 56.53 (+0.13)
6b1c4c 17.93 (+0.00) 17.40 (-0.00) 14.60 (+0.01) 49.93 (+0.00)
5d13a2 17.87 (+0.03) 17.48 (+0.02) 14.52 (-0.08) 49.87 (-0.01)
f7249b 17.43 (+0.06) 17.21 (-0.13) 15.73 (+0.19) 50.37 (+0.02)
306c4f 16.51 (-0.14) 19.79 (+0.07) 13.21 (-0.18) 49.52 (-0.08)
b1a112 19.10 (-0.09) 18.44 (-0.23) 16.09 (-0.10) 53.63 (-0.15)
99c159 21.09 (+0.06) 23.88 (+0.12) 17.81 (+0.02) 62.78 (+0.07)
ea5a97 19.90 (-0.04) 21.38 (+0.01) 17.40 (-0.15) 58.68 (-0.06)
89275f 20.77 (-0.02) 21.17 (+0.04) 20.39 (+0.45) 62.33 (+0.12)
6d33d8 21.11 (+0.12) 20.32 (-0.09) 14.08 (+0.07) 55.51 (+0.02)
a7f4ee 18.84 (-0.05) 22.31 (+0.16) 13.18 (-0.06) 54.34 (+0.02)
6f28da 19.82 19.22 13.99 53.03

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query38-10]

platform: rds-aurora

revision Q38/1 Q38/2 Q38/3 total_duration
baa132 14.50 (+0.12) 11.88 (+0.28) 14.79 (+0.15) 52.96 (+0.50)
d066da 12.97 (+0.05) 9.31 (+0.06) 12.91 (+0.01) 35.19 (+0.04)
0ba4ca 12.40 (-0.24) 8.79 (-0.02) 12.78 (-0.26) 33.97 (-0.20)
e43cde 16.32 (+0.15) 8.98 (-0.21) 17.32 (+0.47) 42.62 (+0.14)
6b1c4c 14.23 (-0.04) 11.40 (+0.09) 11.81 (-0.08) 37.45 (-0.02)
5d13a2 14.78 (+0.09) 10.47 (+0.14) 12.79 (-0.13) 38.05 (+0.01)
f7249b 13.61 (-0.20) 9.20 (+0.07) 14.71 (-0.03) 37.52 (-0.08)
306c4f 16.93 (+0.14) 8.58 (-0.18) 15.11 (+0.17) 40.63 (+0.06)
b1a112 14.84 (-0.15) 10.52 (-0.10) 12.86 (-0.04) 38.22 (-0.10)
99c159 17.40 (+0.01) 11.70 (+0.04) 13.41 (-0.09) 42.51 (-0.02)
ea5a97 17.22 (-0.11) 11.30 (+0.04) 14.70 (-0.12) 43.23 (-0.08)
89275f 19.27 (+0.10) 10.83 (+0.01) 16.69 (+0.07) 46.79 (+0.07)
6d33d8 17.52 (+0.05) 10.71 (+0.11) 15.59 (+0.03) 43.82 (+0.05)
a7f4ee 16.72 (+0.02) 9.64 (-0.02) 15.20 (+0.07) 41.55 (+0.03)
6f28da 16.45 9.81 14.18 40.43

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query39-10]

platform: rds-aurora

revision Q39/1 Q39/2 Q39/3 total_duration
baa132 32.72 (+0.09) 36.07 (+0.16) 37.72 (+0.31) 139.59 (+0.55)
d066da 30.12 (+0.04) 31.12 (-0.01) 28.87 (+0.01) 90.11 (+0.01)
0ba4ca 28.89 (-0.22) 31.50 (-0.19) 28.57 (-0.26) 88.95 (-0.22)
e43cde 36.92 (+0.11) 38.71 (+0.12) 38.48 (+0.19) 114.12 (+0.14)
6b1c4c 33.14 (-0.11) 34.58 (-0.07) 32.42 (-0.03) 100.14 (-0.07)
5d13a2 37.37 (+0.01) 37.00 (-0.03) 33.49 (-0.04) 107.88 (-0.02)
f7249b 36.92 (+0.14) 38.13 (+0.13) 34.97 (+0.07) 110.02 (+0.11)
306c4f 32.50 (-0.13) 33.70 (-0.14) 32.78 (-0.00) 98.99 (-0.10)
b1a112 37.22 (-0.06) 39.40 (+0.01) 32.88 (-0.13) 109.51 (-0.06)
99c159 39.79 (-0.11) 39.13 (-0.04) 37.58 (-0.14) 116.51 (-0.10)
ea5a97 44.55 (+0.13) 40.78 (-0.01) 43.59 (+0.06) 128.92 (+0.06)
89275f 39.50 (+0.14) 41.02 (+0.13) 40.98 (+0.18) 121.51 (+0.15)
6d33d8 34.69 (+0.02) 36.46 (-0.02) 34.72 (+0.01) 105.86 (+0.00)
a7f4ee 33.96 (-0.09) 37.12 (-0.02) 34.48 (-0.00) 105.57 (-0.04)
6f28da 37.13 37.88 34.50 109.50

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query40-10]

platform: rds-aurora

revision Q40/1 Q40/2 Q40/3 total_duration
baa132 12.20 (-0.04) 13.90 (+0.26) 13.92 (+0.15) 51.38 (+0.44)
d066da 12.70 (+0.31) 10.99 (-0.03) 12.08 (-0.04) 35.77 (+0.06)
0ba4ca 9.70 (-0.35) 11.28 (-0.18) 12.63 (-0.12) 33.61 (-0.22)
e43cde 14.93 (+0.22) 13.77 (+0.31) 14.41 (-0.14) 43.12 (+0.09)
6b1c4c 12.23 (+0.10) 10.50 (-0.26) 16.79 (+0.33) 39.52 (+0.04)
5d13a2 11.13 (-0.00) 14.27 (+0.02) 12.60 (-0.10) 38.01 (-0.03)
f7249b 11.15 (-0.08) 14.00 (-0.04) 14.00 (+0.10) 39.15 (-0.01)
306c4f 12.12 (-0.08) 14.61 (+0.07) 12.76 (-0.03) 39.50 (-0.01)
b1a112 13.10 (-0.20) 13.71 (+0.03) 13.11 (-0.30) 39.93 (-0.17)
99c159 16.35 (+0.05) 13.28 (-0.08) 18.61 (+0.10) 48.24 (+0.03)
ea5a97 15.56 (+0.20) 14.43 (+0.16) 16.88 (+0.04) 46.87 (+0.13)
89275f 13.02 (-0.13) 12.41 (-0.01) 16.20 (-0.07) 41.62 (-0.07)
6d33d8 14.97 (+0.07) 12.57 (+0.08) 17.40 (+0.32) 44.94 (+0.16)
a7f4ee 13.96 (-0.07) 11.59 (+0.01) 13.22 (-0.08) 38.78 (-0.05)
6f28da 15.07 11.50 14.41 40.98

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query41-10]

platform: rds-aurora

revision Q41/1 Q41/2 Q41/3 total_duration
baa132 10.72 (-0.09) 9.90 (-0.07) 13.73 (+0.07) 47.18 (+0.34)
d066da 11.74 (+0.25) 10.68 (-0.17) 12.83 (+0.28) 35.25 (+0.09)
0ba4ca 9.42 (-0.44) 12.81 (-0.02) 10.00 (-0.26) 32.23 (-0.25)
e43cde 16.72 (+0.37) 13.03 (-0.19) 13.44 (+0.41) 43.19 (+0.14)
6b1c4c 12.23 (+0.09) 16.17 (+0.15) 9.55 (-0.14) 37.95 (+0.04)
5d13a2 11.20 (+0.01) 14.12 (+0.08) 11.04 (-0.09) 36.37 (+0.00)
f7249b 11.07 (-0.18) 13.05 (+0.09) 12.13 (-0.02) 36.25 (-0.04)
306c4f 13.56 (-0.05) 11.93 (-0.04) 12.37 (-0.05) 37.87 (-0.05)
b1a112 14.33 (+0.18) 12.36 (-0.18) 13.05 (-0.03) 39.74 (-0.02)
99c159 12.14 (-0.21) 15.02 (+0.00) 13.39 (-0.11) 40.56 (-0.11)
ea5a97 15.30 (-0.26) 15.01 (+0.03) 15.09 (-0.01) 45.40 (-0.10)
89275f 20.64 (+0.59) 14.63 (-0.02) 15.19 (+0.37) 50.46 (+0.29)
6d33d8 12.97 (-0.11) 14.94 (+0.23) 11.07 (-0.18) 38.99 (-0.03)
a7f4ee 14.55 (+0.10) 12.18 (+0.06) 13.53 (-0.12) 40.26 (+0.00)
6f28da 13.20 11.52 15.38 40.10

Runs for test_runner/performance/test_perf_olap.py::test_clickbench[query42-10]

platform: rds-aurora

revision Q42/1 Q42/2 Q42/3 total_duration
baa132 10.91 (-0.04) 11.43 (+0.12) 10.76 (-0.03) 47.31 (+0.45)
d066da 11.34 (+0.01) 10.22 (-0.11) 11.09 (+0.16) 32.65 (+0.01)
0ba4ca 11.26 (-0.21) 11.51 (-0.21) 9.59 (-0.29) 32.36 (-0.24)
e43cde 14.25 (-0.03) 14.61 (+0.39) 13.51 (+0.12) 42.37 (+0.14)
6b1c4c 14.72 (+0.04) 10.49 (+0.02) 12.02 (+0.07) 37.22 (+0.05)
5d13a2 14.09 (-0.05) 10.32 (-0.09) 11.20 (+0.04) 35.60 (-0.03)
f7249b 14.78 (+0.25) 11.29 (+0.00) 10.82 (-0.25) 36.88 (-0.02)
306c4f 11.81 (-0.15) 11.28 (-0.02) 14.42 (+0.04) 37.52 (-0.04)
b1a112 13.86 (-0.22) 11.51 (-0.14) 13.81 (-0.20) 39.18 (-0.19)
99c159 17.75 (+0.21) 13.31 (-0.19) 17.28 (+0.23) 48.35 (+0.07)
ea5a97 14.61 (+0.02) 16.49 (-0.15) 14.10 (+0.05) 45.21 (-0.04)
89275f 14.33 (-0.18) 19.42 (+0.46) 13.40 (-0.13) 47.15 (+0.02)
6d33d8 17.42 (+0.29) 13.28 (-0.04) 15.32 (+0.26) 46.03 (+0.16)
a7f4ee 13.56 (+0.07) 13.79 (-0.02) 12.19 (-0.02) 39.54 (+0.01)
6f28da 12.63 14.01 12.39 39.03

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query1-10]

platform: rds-aurora

revision Q1/1 total_duration
baa132 564.88 (+0.13) 564.88 (+0.13)
d066da 500.64 (+0.16) 500.65 (+0.16)
0ba4ca 432.96 (-0.19) 432.96 (-0.19)
e43cde 536.41 (-0.07) 536.41 (-0.07)
6b1c4c 577.84 (-0.00) 577.84 (-0.00)
5d13a2 580.61 (+0.01) 580.61 (+0.01)
f7249b 577.34 (-0.01) 577.34 (-0.01)
306c4f 583.21 (+0.07) 583.21 (+0.07)
bd5934 545.35 (-0.08) 545.35 (-0.08)
b1a112 592.50 (-0.03) 592.50 (-0.03)
99c159 608.74 (-0.13) 608.74 (-0.13)
ea5a97 696.81 (+0.02) 696.81 (+0.02)
89275f 681.38 (+0.10) 681.40 (+0.10)
6d33d8 621.61 (+0.07) 621.63 (+0.07)
a7f4ee 581.41 (-0.07) 581.41 (-0.07)
6f28da 627.86 627.86

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query2-10]

platform: rds-aurora

revision Q2/1 total_duration
baa132 330.02 (+0.07) 330.02 (+0.07)
d066da 308.42 (+0.09) 308.42 (+0.09)
0ba4ca 283.05 (-0.29) 283.05 (-0.29)
e43cde 396.91 (+0.18) 396.91 (+0.18)
6b1c4c 336.50 (-0.02) 336.50 (-0.02)
5d13a2 343.40 (-0.00) 343.40 (-0.00)
f7249b 344.41 (+0.06) 344.41 (+0.06)
306c4f 326.43 (-0.11) 326.43 (-0.11)
bd5934 367.51 (+0.04) 367.51 (+0.04)
b1a112 352.32 (-0.11) 352.32 (-0.11)
99c159 397.03 (-0.02) 397.03 (-0.02)
ea5a97 404.91 (-0.01) 404.91 (-0.01)
89275f 410.14 (+0.09) 410.14 (+0.09)
6d33d8 376.70 (-0.01) 376.70 (-0.01)
a7f4ee 380.49 (+0.07) 380.49 (+0.07)
6f28da 356.10 356.10

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query3-10]

platform: rds-aurora

revision Q3/1 total_duration
baa132 367.53 (+0.08) 367.53 (+0.08)
d066da 341.54 (+0.35) 341.54 (+0.35)
0ba4ca 252.73 (-0.48) 252.73 (-0.48)
e43cde 483.79 (+0.21) 483.79 (+0.21)
6b1c4c 401.21 (+0.36) 401.21 (+0.36)
5d13a2 294.66 (-0.19) 294.67 (-0.19)
f7249b 362.56 (+0.17) 362.56 (+0.17)
306c4f 309.35 (+0.03) 309.35 (+0.03)
bd5934 299.75 (-0.23) 299.75 (-0.23)
b1a112 388.22 (-0.16) 388.22 (-0.16)
99c159 459.80 (-0.09) 459.80 (-0.09)
ea5a97 504.00 (+0.20) 504.00 (+0.20)
89275f 419.68 (+0.31) 419.68 (+0.31)
6d33d8 319.30 (+0.00) 319.31 (+0.00)
a7f4ee 318.57 (+0.04) 318.57 (+0.04)
6f28da 307.68 307.68

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query4-10]

platform: rds-aurora

revision Q4/1 total_duration
baa132 494.38 (+0.00) 494.38 (+0.00)
d066da 494.27 (-0.06) 494.27 (-0.06)
0ba4ca 528.58 (-0.09) 528.59 (-0.09)
e43cde 580.79 (+0.17) 580.79 (+0.17)
6b1c4c 495.61 (-0.14) 495.61 (-0.14)
5d13a2 573.51 (+0.10) 573.51 (+0.10)
f7249b 519.23 (-0.13) 519.23 (-0.13)
306c4f 599.09 (-0.02) 599.09 (-0.02)
bd5934 613.51 (+0.20) 613.51 (+0.20)
b1a112 511.30 (-0.22) 511.30 (-0.22)
99c159 655.35 (+0.08) 655.35 (+0.08)
ea5a97 609.01 (-0.06) 609.01 (-0.06)
89275f 649.21 (+0.00) 649.22 (+0.00)
6d33d8 647.08 (+0.05) 647.08 (+0.05)
a7f4ee 618.11 (+0.02) 618.11 (+0.02)
6f28da 607.16 607.16

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query5-10]

platform: rds-aurora

revision Q5/1 total_duration
baa132 486.94 (+0.59) 486.94 (+0.59)
d066da 306.87 (+0.09) 306.87 (+0.09)
0ba4ca 281.66 (-0.38) 281.66 (-0.38)
e43cde 456.40 (+0.25) 456.40 (+0.25)
6b1c4c 363.88 (+0.07) 363.88 (+0.07)
5d13a2 338.52 (-0.27) 338.52 (-0.27)
f7249b 463.36 (+0.08) 463.36 (+0.08)
306c4f 427.15 (+0.21) 427.15 (+0.21)
bd5934 351.83 (+0.09) 351.83 (+0.09)
b1a112 324.15 (-0.13) 324.15 (-0.13)
99c159 374.24 (-0.28) 374.24 (-0.28)
ea5a97 521.74 (+0.28) 521.74 (+0.28)
89275f 406.62 (+0.01) 406.62 (+0.01)
6d33d8 404.25 (+0.18) 404.25 (+0.18)
a7f4ee 342.61 (-0.24) 342.61 (-0.24)
6f28da 451.60 451.60

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query6-10]

platform: rds-aurora

revision Q6/1 total_duration
baa132 241.90 (+0.16) 241.90 (+0.16)
d066da 208.18 (+0.06) 208.18 (+0.06)
0ba4ca 197.09 (-0.20) 197.09 (-0.20)
e43cde 247.68 (-0.04) 247.68 (-0.04)
6b1c4c 259.01 (+0.24) 259.01 (+0.24)
5d13a2 209.40 (-0.10) 209.40 (-0.10)
f7249b 233.30 (-0.12) 233.30 (-0.12)
306c4f 263.70 (+0.04) 263.71 (+0.04)
bd5934 253.71 (+0.42) 253.72 (+0.42)
b1a112 179.17 (-0.30) 179.18 (-0.30)
99c159 257.68 (-0.18) 257.68 (-0.18)
ea5a97 312.50 (+0.21) 312.50 (+0.21)
89275f 257.51 (-0.07) 257.51 (-0.07)
6d33d8 275.43 (+0.15) 275.43 (+0.15)
a7f4ee 240.31 (-0.16) 240.31 (-0.16)
6f28da 286.59 286.60

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query7-10]

platform: rds-aurora

revision Q7/1 total_duration
baa132 234.99 (-0.29) 234.99 (-0.29)
d066da 332.28 (+0.01) 332.28 (+0.01)
0ba4ca 330.32 (-0.20) 330.32 (-0.20)
e43cde 412.00 (+0.33) 412.00 (+0.33)
6b1c4c 309.83 (-0.13) 309.83 (-0.13)
5d13a2 355.13 (+0.05) 355.13 (+0.05)
f7249b 337.59 (+0.20) 337.60 (+0.20)
306c4f 281.94 (-0.33) 281.94 (-0.33)
bd5934 417.90 (+0.10) 417.90 (+0.10)
b1a112 380.48 (-0.06) 380.48 (-0.06)
99c159 404.62 (-0.04) 404.62 (-0.04)
ea5a97 422.21 (-0.05) 422.21 (-0.05)
89275f 445.51 (+0.10) 445.51 (+0.10)
6d33d8 406.62 (+0.09) 406.62 (+0.09)
a7f4ee 371.82 (+0.23) 371.82 (+0.23)
6f28da 302.61 302.61

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query8-10]

platform: rds-aurora

revision Q8/1 total_duration
baa132 236.03 (+0.08) 236.03 (+0.08)
d066da 217.98 (+0.02) 217.98 (+0.02)
0ba4ca 214.20 (-0.40) 214.20 (-0.40)
e43cde 359.40 (+0.43) 359.40 (+0.43)
6b1c4c 251.07 (-0.23) 251.07 (-0.23)
5d13a2 325.78 (+0.15) 325.78 (+0.15)
f7249b 282.67 (+0.03) 282.67 (+0.03)
306c4f 274.81 (-0.04) 274.82 (-0.04)
bd5934 286.92 (-0.24) 286.92 (-0.24)
b1a112 379.57 (-0.02) 379.57 (-0.02)
99c159 387.63 (+0.19) 387.63 (+0.19)
ea5a97 325.27 (-0.12) 325.27 (-0.12)
89275f 369.51 (+0.26) 369.51 (+0.26)
6d33d8 293.91 (-0.07) 293.91 (-0.07)
a7f4ee 316.90 (+0.11) 316.90 (+0.11)
6f28da 286.27 286.27

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query9-10]

platform: rds-aurora

revision Q9/1 total_duration
baa132 2605.12 (+0.20) 2605.12 (+0.20)
d066da 2162.69 (+0.07) 2162.69 (+0.07)
0ba4ca 2030.53 (-0.28) 2030.53 (-0.28)
e43cde 2816.08 (+0.05) 2816.08 (+0.05)
6b1c4c 2673.91 (+0.06) 2673.91 (+0.06)
5d13a2 2514.53 (-0.01) 2514.53 (-0.01)
f7249b 2534.20 (+0.07) 2534.20 (+0.07)
306c4f 2377.23 (-0.08) 2377.23 (-0.08)
bd5934 2576.71 (-0.02) 2576.71 (-0.02)
b1a112 2617.09 (-0.10) 2617.09 (-0.10)
99c159 2899.12 (+0.03) 2899.12 (+0.03)
ea5a97 2813.22 (-0.06) 2813.22 (-0.06)
89275f 2992.07 (+0.16) 2992.07 (+0.16)
6d33d8 2577.44 (+0.02) 2577.44 (+0.02)
a7f4ee 2530.32 (-0.02) 2530.32 (-0.02)
6f28da 2584.40 2584.40

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query10-10]

platform: rds-aurora

revision Q10/1 total_duration
baa132 364.51 (+0.04) 364.51 (+0.04)
d066da 348.90 (+0.01) 348.90 (+0.01)
0ba4ca 345.77 (-0.32) 345.77 (-0.32)
e43cde 505.80 (+0.30) 505.80 (+0.30)
6b1c4c 388.62 (-0.05) 388.62 (-0.05)
5d13a2 407.08 (+0.11) 407.08 (+0.11)
f7249b 365.21 (-0.06) 365.21 (-0.06)
306c4f 387.53 (-0.19) 387.53 (-0.19)
bd5934 477.40 (+0.15) 477.41 (+0.15)
b1a112 415.13 (-0.12) 415.14 (-0.12)
99c159 469.41 (-0.01) 469.41 (-0.01)
ea5a97 473.58 (-0.04) 473.59 (-0.04)
89275f 491.71 (+0.31) 491.71 (+0.31)
6d33d8 375.89 (-0.17) 375.89 (-0.17)
a7f4ee 450.60 (+0.21) 450.60 (+0.21)
6f28da 371.44 371.44

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query11-10]

platform: rds-aurora

revision Q11/1 total_duration
baa132 180.76 (+0.11) 180.76 (+0.11)
d066da 162.45 (+0.01) 162.45 (+0.01)
0ba4ca 160.46 (-0.25) 160.46 (-0.25)
e43cde 212.80 (+0.17) 212.80 (+0.17)
6b1c4c 182.42 (-0.02) 182.42 (-0.02)
5d13a2 186.49 (-0.02) 186.50 (-0.02)
f7249b 190.20 (+0.01) 190.20 (+0.01)
306c4f 188.27 (-0.67) 188.28 (-0.67)
bd5934 568.09 (+1.95) 568.09 (+1.95)
b1a112 192.80 (-0.10) 192.80 (-0.10)
99c159 214.61 (-0.06) 214.61 (-0.06)
ea5a97 227.83 (+0.00) 227.83 (+0.00)
89275f 226.83 (+0.13) 226.84 (+0.13)
6d33d8 200.39 (+0.02) 200.40 (+0.02)
a7f4ee 197.34 (+0.01) 197.35 (+0.01)
6f28da 195.35 195.35

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query12-10]

platform: rds-aurora

revision Q12/1 total_duration
baa132 335.12 (-0.06) 335.13 (-0.06)
d066da 355.08 (-0.03) 355.08 (-0.03)
0ba4ca 364.56 (-0.17) 364.56 (-0.17)
e43cde 437.63 (-0.27) 437.64 (-0.27)
6b1c4c 601.34 (+0.12) 601.34 (+0.12)
5d13a2 536.25 (+0.53) 536.25 (+0.53)
f7249b 350.88 (-0.02) 350.88 (-0.02)
306c4f 359.54 (+0.79) 359.54 (+0.79)
bd5934 200.42 (-0.71) 200.42 (-0.71)
b1a112 701.17 (+0.58) 701.17 (+0.58)
99c159 442.41 (+0.02) 442.41 (+0.02)
ea5a97 435.20 (-0.40) 435.21 (-0.40)
89275f 730.23 (+0.59) 730.23 (+0.59)
6d33d8 458.32 (-0.24) 458.32 (-0.24)
a7f4ee 604.41 (+0.97) 604.42 (+0.97)
6f28da 306.93 306.93

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query13-10]

platform: rds-aurora

revision Q13/1 total_duration
baa132 140.51 (+0.06) 140.51 (+0.06)
d066da 132.71 (+0.04) 132.71 (+0.04)
0ba4ca 127.10 (-0.33) 127.10 (-0.33)
e43cde 188.88 (+0.08) 188.88 (+0.08)
6b1c4c 175.63 (+0.03) 175.63 (+0.03)
5d13a2 170.13 (+0.03) 170.13 (+0.03)
f7249b 164.40 (+0.36) 164.40 (+0.36)
306c4f 120.52 (-0.38) 120.52 (-0.38)
bd5934 195.45 (+0.05) 195.45 (+0.05)
b1a112 185.35 (+0.01) 185.35 (+0.01)
99c159 183.73 (+0.08) 183.73 (+0.08)
ea5a97 170.30 (-0.31) 170.30 (-0.31)
89275f 245.90 (+0.58) 245.91 (+0.58)
6d33d8 155.28 (-0.13) 155.28 (-0.13)
a7f4ee 177.63 (+0.34) 177.63 (+0.34)
6f28da 132.48 132.48

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query14-10]

platform: rds-aurora

revision Q14/1 total_duration
baa132 232.71 (-0.03) 232.71 (-0.03)
d066da 240.37 (+0.06) 240.37 (+0.06)
0ba4ca 226.84 (-0.30) 226.84 (-0.30)
e43cde 324.51 (+0.46) 324.51 (+0.46)
6b1c4c 222.52 (-0.22) 222.52 (-0.22)
5d13a2 285.73 (+0.05) 285.73 (+0.05)
f7249b 271.02 (+0.07) 271.02 (+0.07)
306c4f 254.22 (-0.07) 254.22 (-0.07)
bd5934 274.71 (-0.03) 274.72 (-0.03)
b1a112 282.90 (-0.10) 282.90 (-0.10)
99c159 313.93 (+0.11) 313.93 (+0.11)
ea5a97 282.54 (-0.15) 282.54 (-0.15)
89275f 332.62 (+0.16) 332.62 (+0.16)
6d33d8 287.72 (+0.06) 287.72 (+0.06)
a7f4ee 271.12 (+0.14) 271.12 (+0.14)
6f28da 237.01 237.01

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query15-10]

platform: rds-aurora

revision Q15/1 total_duration
baa132 369.20 (-0.20) 369.20 (-0.20)
d066da 461.94 (+0.03) 461.94 (+0.03)
0ba4ca 448.32 (+0.49) 448.32 (+0.49)
e43cde 300.71 (-0.19) 300.71 (-0.19)
6b1c4c 369.68 (-0.04) 369.68 (-0.04)
5d13a2 383.49 (+0.37) 383.49 (+0.37)
f7249b 280.47 (-0.20) 280.47 (-0.20)
306c4f 349.52 (-0.25) 349.52 (-0.25)
bd5934 467.35 (+0.60) 467.35 (+0.60)
b1a112 291.72 (+0.06) 291.72 (+0.06)
99c159 276.30 (-0.34) 276.30 (-0.34)
ea5a97 420.63 (+0.16) 420.63 (+0.16)
89275f 362.83 (-0.33) 362.83 (-0.33)
6d33d8 539.01 (+0.47) 539.01 (+0.47)
a7f4ee 365.80 (-0.18) 365.80 (-0.18)
6f28da 445.53 445.53

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query16-10]

platform: rds-aurora

revision Q16/1 total_duration
baa132 70.56 (+1.38) 70.56 (+1.38)
d066da 29.60 (-0.05) 29.60 (-0.05)
0ba4ca 31.27 (-0.70) 31.27 (-0.70)
e43cde 103.37 (+2.13) 103.37 (+2.13)
6b1c4c 32.99 (+0.04) 33.00 (+0.04)
5d13a2 31.84 (-0.55) 31.84 (-0.55)
f7249b 70.76 (-0.25) 70.76 (-0.25)
306c4f 94.47 (+0.23) 94.47 (+0.23)
bd5934 77.07 (+1.18) 77.07 (+1.18)
b1a112 35.27 (-0.65) 35.28 (-0.65)
99c159 100.18 (-0.12) 100.18 (-0.12)
ea5a97 114.05 (+1.77) 114.05 (+1.77)
89275f 41.11 (+0.19) 41.11 (+0.19)
6d33d8 34.49 (-0.03) 34.49 (-0.03)
a7f4ee 35.56 (-0.63) 35.56 (-0.63)
6f28da 96.15 96.15

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query17-10]

platform: rds-aurora

revision Q17/1 total_duration
baa132 893.83 (+0.07) 893.83 (+0.07)
d066da 833.27 (-0.06) 833.27 (-0.06)
0ba4ca 884.08 (-0.13) 884.08 (-0.13)
e43cde 1014.31 (+0.13) 1014.31 (+0.13)
6b1c4c 899.36 (-0.02) 899.36 (-0.02)
5d13a2 916.87 (-0.01) 916.87 (-0.01)
f7249b 928.30 (+0.04) 928.31 (+0.04)
306c4f 892.54 (-0.08) 892.54 (-0.08)
bd5934 969.22 (+0.00) 969.22 (+0.00)
b1a112 966.86 (-0.13) 966.87 (-0.13)
99c159 1107.24 (-0.03) 1107.24 (-0.03)
ea5a97 1146.71 (+0.00) 1146.71 (+0.00)
89275f 1143.38 (+0.16) 1143.38 (+0.16)
6d33d8 989.84 (-0.01) 989.85 (-0.01)
a7f4ee 1003.96 (+0.03) 1003.96 (+0.03)
6f28da 970.10 970.10

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query18-10]

platform: rds-aurora

revision Q18/1 total_duration
baa132 1353.63 (+0.28) 1353.63 (+0.28)
d066da 1058.98 (-0.03) 1058.98 (-0.03)
0ba4ca 1089.19 (-0.36) 1089.19 (-0.36)
e43cde 1696.28 (+1.07) 1696.28 (+1.07)
6b1c4c 819.42 (-0.34) 819.42 (-0.34)
5d13a2 1234.40 (+0.14) 1234.40 (+0.14)
f7249b 1080.84 (-0.14) 1080.84 (-0.14)
306c4f 1261.49 (-0.17) 1261.49 (-0.17)
bd5934 1512.24 (+0.18) 1512.24 (+0.18)
b1a112 1277.41 (-0.13) 1277.41 (-0.13)
99c159 1462.63 (-0.13) 1462.63 (-0.13)
ea5a97 1690.54 (+0.40) 1690.54 (+0.40)
89275f 1205.72 (-0.05) 1205.72 (-0.05)
6d33d8 1271.90 (+0.01) 1271.90 (+0.01)
a7f4ee 1253.21 (-0.15) 1253.21 (-0.15)
6f28da 1475.40 1475.40

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query19-10]

platform: rds-aurora

revision Q19/1 total_duration
baa132 222.28 (+1.51) 222.28 (+1.51)
d066da 88.49 (-0.09) 88.49 (-0.09)
0ba4ca 97.01 (+0.13) 97.01 (+0.13)
e43cde 86.15 (-0.15) 86.15 (-0.15)
6b1c4c 101.21 (-0.07) 101.21 (-0.07)
5d13a2 109.37 (+0.51) 109.37 (+0.51)
f7249b 72.33 (-0.22) 72.33 (-0.22)
306c4f 92.93 (+0.19) 92.93 (+0.19)
bd5934 77.86 (-0.29) 77.87 (-0.29)
b1a112 110.04 (-0.23) 110.04 (-0.23)
99c159 142.39 (-0.31) 142.39 (-0.31)
ea5a97 206.14 (+1.40) 206.14 (+1.40)
89275f 86.03 (-0.23) 86.03 (-0.23)
6d33d8 111.36 (-0.00) 111.36 (-0.00)
a7f4ee 111.89 (-0.08) 111.89 (-0.08)
6f28da 122.14 122.14

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query20-10]

platform: rds-aurora

revision Q20/1 total_duration
baa132 3065.11 (+0.06) 3065.11 (+0.06)
d066da 2891.38 (-0.10) 2891.38 (-0.10)
0ba4ca 3206.62 (-0.04) 3206.62 (-0.04)
e43cde 3338.82 (+0.10) 3338.82 (+0.10)
6b1c4c 3021.62 (-0.03) 3021.62 (-0.03)
5d13a2 3100.62 (-0.01) 3100.63 (-0.01)
f7249b 3124.58 (+0.02) 3124.58 (+0.02)
306c4f 3073.30 (-0.09) 3073.30 (-0.09)
bd5934 3380.73 (+0.01) 3380.73 (+0.01)
b1a112 3341.53 (-0.07) 3341.53 (-0.07)
99c159 3595.78 (-0.01) 3595.78 (-0.01)
ea5a97 3634.11 (+0.02) 3634.11 (+0.02)
89275f 3571.44 (+0.09) 3571.45 (+0.09)
6d33d8 3275.97 (+0.01) 3275.97 (+0.01)
a7f4ee 3256.57 (-0.02) 3256.57 (-0.02)
6f28da 3307.15 3307.16

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query21-10]

platform: rds-aurora

revision Q21/1 total_duration
baa132 1062.58 (+0.09) 1062.58 (+0.09)
d066da 973.71 (-0.06) 973.71 (-0.06)
0ba4ca 1038.21 (-0.13) 1038.21 (-0.13)
e43cde 1196.53 (+0.12) 1196.53 (+0.12)
6b1c4c 1063.59 (+0.01) 1063.59 (+0.01)
5d13a2 1053.23 (-0.02) 1053.23 (-0.02)
f7249b 1070.19 (+0.03) 1070.19 (+0.03)
306c4f 1041.89 (-0.24) 1041.89 (-0.24)
bd5934 1365.49 (+0.22) 1365.49 (+0.22)
b1a112 1119.74 (-0.10) 1119.74 (-0.10)
99c159 1238.08 (-0.02) 1238.08 (-0.02)
ea5a97 1262.71 (-0.05) 1262.71 (-0.05)
89275f 1327.81 (+0.16) 1327.81 (+0.16)
6d33d8 1147.15 (+0.03) 1147.15 (+0.03)
a7f4ee 1116.04 (-0.01) 1116.04 (-0.01)
6f28da 1122.23 1122.24

Runs for test_runner/performance/test_perf_olap.py::test_tpch[query22-10]

platform: rds-aurora

revision Q22/1 total_duration
baa132 33.31 (+0.08) 33.32 (+0.08)
d066da 30.77 (-0.05) 30.77 (-0.05)
0ba4ca 32.23 (-0.17) 32.23 (-0.17)
e43cde 38.79 (+0.01) 38.79 (+0.01)
6b1c4c 38.39 (+0.09) 38.39 (+0.09)
5d13a2 35.23 (-0.06) 35.23 (-0.06)
f7249b 37.64 (+0.04) 37.65 (+0.04)
306c4f 36.19 (-0.14) 36.19 (-0.14)
bd5934 42.29 (+0.11) 42.29 (+0.11)
b1a112 38.11 (-0.09) 38.11 (-0.09)
99c159 41.99 (+0.09) 42.00 (+0.09)
ea5a97 38.54 (-0.10) 38.54 (-0.10)
89275f 42.80 (+0.17) 42.81 (+0.17)
6d33d8 36.66 (-0.09) 36.66 (-0.09)
a7f4ee 40.16 (+0.11) 40.16 (+0.11)
6f28da 36.30 36.30

Runs for test_runner/performance/test_perf_olap.py::test_clickbench_create_pg_stat_statements

platform: rds-aurora

revision Q_CREATE_EXTENSION/1 Q_RESET/1 total_duration
baa132 0.67 0.67 1.35

Runs for test_runner/performance/test_perf_olap.py::test_clickbench_collect_pg_stat_statements

platform: rds-aurora

revision Q_COLLECT_PG_STAT_STATEMENTS/1 total_duration
baa132 1.09 1.09